Коллеги, дамы анд господа, просто сочувствующие и любопытствующие!
Интересует инструментарий и статистика.
Статистика по количеству дохлых винтов, бренд, объём.
Инструментарий восстановления инфы с винтов, какой, программно-аппаратный?

ЗЫ один винт в месяц это много или мало?

Если не горит в первые 6 месяцев живет как правило 4-5 лет. Больше не пробовал так как сервер морально устаревает. Сегейты летят чаше. Инструментарий делаю бекапы локально и на удаленный сервер.

Инструментарий восстановления инфы с винтов Если быкапы делались 6 мес назад, то на фиг они нужны?

ты про SATA или SAS?

SATA - около 100 серверов ~300 винтов, 2-3 винта в месяц.

Энтерпрайз серии, особенно сегейты дохнут реже. Самсунги дохнут все года за два. ВД - все года за 3, рапторы аналогично. Сегейты, особливо NS могут дожить до морального старения в благополучном виде. Хитачи чуть хуже сегейтов.

Объемы мне считать лень, если мне за это ничего не светит. Сейчас ставим терабайтники на замену всему.

SAS - около 30 серверов ~ 60 винтов. 2-3 винта в год.

SSD еще не дохли, используем штук 5 SLC, взял на пробу пару MLC - посмотрю на скорость запиливания.

Инфу с винтов еще не разу не востановливали ибо зеркала и бэкапы.

Тогда инструмент называет "кол". На этот инструмент надо посадить того, кто не делает бэкапы.
Восстановление инфы со сдохшего винта лучше поручить профессионально занимающимся людям, но даже если делать это самому, то одного инструмента мало - надо знать устройство файловой системы, чтобы уметь это восстанавливать.

они уже пошли, друг у друга, по второму кругу, локти кусать

в звезду и красную армию!!! по факту даже не лимитируем их, нетблин, бэкапы мы принципиально не делаем....

не спим, о бэкапах думаем я тут прикинул =) у нас два хранилища общим объёмом 25-30 терра =) занято примерно на 20%

да очень похожие данные, вот некоторые факты из личной статистики:

- Seagate помирают чаще чем WD
- Бэды/ремапы и т.п. вылезают либо сразу (в первый месяц), либо через несколько лет
- через ~4 года помирают и WD
- старые харды 150-250Gb живут дольше (5лет в среднем), чем 500Gb
- а новые 1Tb отказывают еще быстрее, чем 500Gb
- хард с температурой (по данным smartcl) 20-25°С имеет больше шансов прожить весь гарантийный срок (~3года)
- такой же хард с температурой 30-35°C не доживает до конца гарантийного срока

P.S. Инструментарием пользоваться не приходится тьфу-тьфу-тьфу, благо везде mirror или raid10
P.P.S. один винт в месяц напрямую зависит от парка машин, в крупном ДЦ будет "капля в море", а в мелкой конторе на полтора сисадмина нереально много.

а что рейд. а если сдохнет контроллер? кирдык тогда вашим данным. вот сейчас прислали:

"Greetings! As you are most likely aware, our ********** Windows VPS node suffered a severe hardware failure early Saturday morning. After thorough investigation, we’ve determined that the incident was caused by a failed RAID controller. Unfortunately, that failed controller also seems to have corrupted a large portion of the file structure and data on the drives which directly led to the crash of the hardware node as crucial files were corrupted. All attempts over the last 48 hours via several means have failed to recover the data, including several very time consuming attempts to mount and extract the data using virtually every method at our disposal. Unfortunately, our efforts have not yielded any results and so at this time, we must pronounce the data on ******** a 100% loss due to corruption of the RAID10 array. While this is devastating for us, we understand that it is even more devastating for all of you. Hardware failures are unfortunately a part of dealing with physi!
cal servers and despite the precautions in place to prevent such occurences, it is unfortunately something that can and does happen to us as well as other hosting providers, and we want you to know that we do understand that doesn’t make them any less difficult to deal with. We sincerely value your business and we want to do what we can to help you through this. We will be extending our technical support services to you, whether you be managed or unmanaged, to help you to restore your servers should you have a backup or need other technical assistance. While these types of failures are very, very rare, they unfortunately do happen and we would like to ensure that each and every one of you are taken care of. Please contact us at your earliest convenience via ****** and we would be happy to provide any assistance we can. Thank you for your understanding, ********"

А бекапить впсную ноду сами понимаете как легко.
Что касается тулз -пару раз пытались R-Studio for Linux - мало чем помогает. А так в основном это сервисные службы со стоимостью от 2000 евро. Правда надо заметить что проблемные диски были с ext3.

что бы не дох контроллер, неча ставить апаратные рейды ну или держать в резерве железяку.

больше сотни, в некоторых по два-четыре воткнуто.

к тому времени когда дохнет аппаратная железка:
- железка, лежащая в резерве, уже настолько морально устарела, что нередко получается выкинутые деньги на ветер, по сравнению с тем, что можно купить новое.
- есть очень ненулевой риск, что железка не запустится
- такой железки уже давно нет в продаже, и даже если обратиться по гарантии, то вендор всё равно взамен предлагает другую железку.


В условиях аренды рейда в датацентре - смысл ещё какой-то есть, так как больше вероятность, что найдётся работающая платформа на замену.

По своему опыту - хитачи живут дольше и не "чихают" в процессе,как это было с сегейтами.

А как вы мониторите SSD диски чтобы узнать когда они готовятся умирать?
Дело в том что я видел SMART информацию с 32 Gb SSD дисков Korsair и понял что там отображается полная чушь.

У интелей смарты получше. А при зеркале момент смерти ссд не так страшен, главное не одновременно .

CDP от R1Soft решение проблемы

И на сколько хватает этого решения? Чем оно лучше?

ну раньше были макстор жесткие, по ним классно было ориентироваться, головой стучит - через месяц а то и больше смерть...хотя некоторые модели голвами постукивают, но упорно пашут уже 2й если не третий год!

Мой знакомый столкнулся с проблемой такого плана что ssd диск работает
но в некоторых местах записываемое не соответствует читаемому. Видимо отсутствует контроль по чётности. Либо контроль чётности сбоит аналогичным образом и отключается. Так что винт читается на ура. А вот в случае зеркала из двух винтов непонятно кому верить. Очевидно требуется третий для записи чётности.

Винт проработал чуть больше года.

Интересная тема.

Большенство винтов у нас в цоде SATA Seagate.

Вообще в этом месяце подохло несколько винтов все NS серии! Годиков им по 5-6 Аналогичные винты обычных серий (7200 AS) живут...

А как вы принимаете решение что пора менять винт?
Достаточно ли информации SMART типа Realocated count или Pending count если одно из этих значений стало отличаться от нуля?

Как в случае ещё гарантийного диска и как в случае того у которого гарантия вышла.

Например винт гарантийный а вот сегодня на нём выскочил Realocated count = 1
Снимаем бежим пока гарантия не вышла?
А когда гарантия давно вышла ждёте пока не заполнится половина запасной области?
Но ведь это снижает скорость работы диска.

Какой стратегии вы придерживаетесь?

raid+backup наше все

Это как понимать? Винт меняете когда он совсем мертвый?

Это понять как "от смерти одного винта ничего страшного не происходит"

страх наступает после смерти
типа такого:
техподдержка: о ужас, у нас сдохло 12 винтов из 13 в нашем супер-пупер рейде, срочно меняем сдохшие винты, иначе всё навернётся!!!
снабжение:такие винты уже давно не в моде и вообще в таиланде наводнение, винтов не будет до весны
финотдел: когда вы нам отремонируете наш клиент банк, тогда и оплатим счёт на новые железки
директор: уволю всех или продам в рабство

Вот в этом то и дело.
Я понял что мониторить SMART в рейде придумали психи. А нормальные пацаны ставят рейды, с батарейками, по 3 винта в зеркало. И шевелиться начинают только тогда, когда 2 винта уже сгорели, а последний начал сыпаться. И обнаружили это случайно, когда клиент 7 дней подряд матом крыл техсаппорт, что у него фигня какая-то с хостингом творится.

Батарейка в рейде тоже лишней выглядит, мало того что её нужно тренировать иногда, так ещё и портится, а это значит лишний раз оторвать попу от стула и бежать в холод. И вдруг наводнение на заводе батареек. Или землетрясение. А нет батарейки - нет и проблемы.

Собственно вопрос звучал так:
Является ли relocation couter сигналом к замене винта?

Рейды не юзаю принципиально. Всегда имею резервный сервер. И переношу на него когда имею ошибки в dmesg. Но бекапы: на локалный диск на отделенный сервер и в офис. За 10 лет бекапы понадобились 2 раза а так все или почти все получалось перелить со старого.

Директор виноват. Он не подумал о том, чтоб надо было купить запас винтов заранее.

Было время, я тоже так думал.
И как, я скажу, было приятно поменять пару винтов, но уже без всей той тягомотины и нервов с восстановлением.




Батарейка - это действительно опция.
Она ведь только для кеширования записи интересна, или нет ?

нет.

Там счётчик пороговый. Есть ремап область, в которой определенное количество секторов. Надо сравнивать значение в столбце VALUE с значением в THRESH (в смарте), если близко или ниже THRESH - тогда меняем. в RAW в этот момент можете увидеть примерный размер ремапа.
поглядывайте на разницу между Reallocated Sectors Count и Reallocation Event Count.

тоже мониторится

Довольно интересная позиция. Но не для хостера. RAID это не только некоторая надёжность хранения данных, он же ещё и кеш-контроллер, и распараллеливатель однотипных операций на разные винты так чтобы винты отдали информацию быстрее.


А что, головами диск не дёргает при перескоках в область ремапинга и время на это не тратит? Скорость чтения последовательности секторов среди которых есть ремап - ниже. Понятно, что нужно ещё попасть сбоем в часто читаемый сектор чтобы производительность во время реальной работы сильно упала. Но зачем ждать если гарантия на винт ещё не вышла? Не проще ли поменять его сразу как только стало ясно что винт сыплется?

Ремапинг секторов - это штатная процедура, а не "винчестер начал сыпаться".


От гаранта и от гарантии зависит. Не захочет менять - не поменяет.

Надежность сомнительно и спорно. А скорость она прямыми руками больше дается чем всеми прибамбасами вместе взятыми.

Безусловно, RAID контроллер это такой же микропрограммный автомат, как и все другие. Он, повышая надёжность винтов как хранилища, сам является Single Point of Failure. Конечно его можно полностью эмулировать на CPU. Но вы знаете 16-ти 24-х 45-ти канальные SATA контроллеры поддерживающие hotswap? Максимум что я видел в интернете - 8 SATA каналов от Supermicro.

Во первых, есть сата расширители.
Во вторых - а зачем? Зачем 45 сата винтов? Есть применение для 90 терабайт - который могут одномоментно гигнуться и подымай 90 тер с бэкапов?

Во первых, SATA расширители снижают скорость обмена с дисками.
Во вторых, вы неверно считаете. И 45 дисков это только в JBOD к которому в основном сервере стоит скажем ещё 36 дисков. 36+45=81 диск для RAID10 дадут 40 зеркальных пар. Если диск 2 TB то это в сумме 80TB

А проблема утилизации 80TB мне кажется надуманной. Посмотрите на цены. Диски VDS серверов растут. Предоставляемые объёмы пользователям shared хостинга теряют ограничения.

Чтобы не заморачиваться с бэкапами стораджа целиком ставится два зеркальных сервера. Получается HA кластер. Или я неверно понимаю мировые тенденции? Бэкапы это только для восстановления одной виртуалки. Массовое восстановление это от неправильного проектирования.

Ну, с моей стороны есть несколько сотен клиентских вдсов и статистика по реальному потреблению ио и места вдсами, кстати, и других мощностей за 10 лет.

Вполне возможно, я забурел и не понимаю тенеций. Мое мнение - вдс, это то, что работает и шевелится. Для хранения терабайт информации есть всяческие бэкапные сервера и amazonS3. Я бы напирал на иопсы, а не на террабайты места. Вот их любят пользователи вдс. Нет иопсов- обзывают тебя всякими нехорошими словами.

С вашей - собственное виденье проблемы. Подымите ха кластер с 80 терами стораджа и зеркалированием по 10G, проверьте мировые тендеции. На мой взгляд, тендеции, как правило, в диком оверселлинге и даванию клиенту по морде за попытку получить, то, что декларировано в тарифе но о чем написано в TOS и AUP

И я бы никому не советовал жить без бэкапов...

Ivan таки спалил тему, ну вот...

было бы интересно увидеть, если не тайна.В примере мы взлетели до 2TB SATA дисков. А что с SAS? Там из винтов 147Gb набрать терабайты будет очень сложно. Там и будет упор (нехватка) по количеству дисков. Будет хотеться ещё и ещё.10G это в два/четыре раза худее чем IB. Но кластер хорош миграцией виртуалок в нём, в то время как без кластера в случае проблем аппаратного уровня будет стоп всем виртуалкам и длительное копирование виртуалок на другой сервер. Или перенос прямо с дисками если есть идентичная железяка. Но в любом случае это время.Ой, а кто вздумал без них? И в сааамый дальний ДЦ, даже в два. Раскошелиться на проводку прийдётся, а как же.

Нет, я всё же скажу что RAID это вешь архиполезная.

10 + лет на рынке 25 серверов и нет ни оного где занято больше 80 гигов. И на фига мне ваш рейд сдался? Да я сервер заменю быстрее чем у Вас fsck супер пупер быстрый рейд прочекает.

Ну а по теме после переезда с дц в дц - вылетели 4 харда. 3 вдешки 1 сейгет но вдешек было 20 а сегейтов 4. Вылетели тока новые дорогие серверно оптимизированные - блин. Старые харды для простых смертных переезд пережили без проблем.

Кхм... А при чём тут рейд и сколько там места занято в общем и целом? По-моему не в том контексте говорят о рейде обычно. Про 80 гигов ноу комментс.

К тому что была озвучена позиция что хостер не может жить без рейдов. Ну а моя идея в том что самый простой способ понять надежность и скорость не пихать на 1 сервер кучу клиентов

А где взаимосвязь между количеством клиентов на сервере и надёжностью? Я вот как-то не улавливаю этой связи.

Как бы прямая... чем больше нагрузка тем раньше сдохнет. Кроме того если если тратит деньги не на рейд а скажем так купить на них 4 сервера вместо одного то даже в случае проблем пострадать не все а только 1/4. Ну или резервировать целый сервер - чем плодить кучи хардов и испытывать счастья от их смены.

Хм... Отчасти с этим можно согласиться. Но, я говорил в другом контексте. Как это ПОВЫШАЕТ надёжность? Покажите мне такой рейд-контроллер за цену которого можно купить 4 сервера. Очень хочу посмотреть на этого монстра. Хотя, я не знаю, какие именно серверы Вы имели ввиду. Софтовый рейд, кстате, никто не отменял. Потерять 1/4 клиентов - это катастрофа вселенского маштаба для хостера. Потеря по вине хостера безвозвратно данных даже одного клиента - ЧП!
Я тут в теме отписался не потому, что я ярый сторонник рейдов ни рейдов и тп. Каждый выбирает сам, как ему бэкапить, куда, что. Я бэкапы организовывал наличием RAID 1 + бэкапы кидались локально на машине на отдельные винты + удалённые бэкапы на отдельную машину. Зачем мне бэкапить ВЕСЬ сервер? Мне надо бэкапить самое ценное и святое - данные клиентов размещенные на сервере.
Просто когда хостер работающий 10 лет спокойно говорит, что пострадает 1/4 клиентов и всё как бы нормально. У меня возникает закономерный вопрос: а нет ли у него какой-то ошибки в подписи.

Ой да ладно дешевый авторитет зарабатывать. Если вы еще не падали то только потому что нафиг некому были нужны.

Ваш авторитет в моих глазах уже рухнул дважды. Если найдёте что сказать по теме разговора, пишите. Если сказать нечего по сути, то для перехода на личности есть ЛС.

ALL

У кого есть опыт хранения данных на серваке под хранилище на айскази для виртуализации, допустим Xen, на гигабитном порту? Будут ли затыки по скорости в таком решении, или нужно десятку подключение?
Какие диски и т.п. значения принципиального не имеет, просто интересен опыт использования на нагруженных системах.

fsck чекает файловую систему. К рейду он отношения не имеет. Стыдно не знать.


Да, будут затыки на гигабите.

Обычно в серверных мамках стоят 2 порта. Поток нужно распараллелить на два интерфейса и теоретически "затыки" начнутся на хранилище если к нему подключены несколько нод. Но я так прикидывал, что нужно со стороны ноды делать 1+1Gbps, а вот на хранилище 10+10Gbps и всё это вставить в два закольцованных 24x1Gbps + 2x10Gbps свитча. И 10-ка между свитчами. Тогда всё должно сравнительно весело бегать.