Версия для печати темы

Нажмите сюда для просмотра этой темы в обычном формате

Онлайн-форум hostobzor.ru _ Железо _ Винтокапец!

Автор: Anatoly Bogdanov 04.10.2011, 18:20

Коллеги, дамы анд господа, просто сочувствующие и любопытствующие!
Интересует инструментарий и статистика.
Статистика по количеству дохлых винтов, бренд, объём.
Инструментарий восстановления инфы с винтов, какой, программно-аппаратный?

ЗЫ один винт в месяц это много или мало?

Автор: Maxim Volgin 04.10.2011, 18:31

Если не горит в первые 6 месяцев живет как правило 4-5 лет. Больше не пробовал так как сервер морально устаревает. Сегейты летят чаше. Инструментарий делаю бекапы локально и на удаленный сервер.

Автор: Anatoly Bogdanov 04.10.2011, 21:40

Цитата(Maxim Volgin @ 04.10.2011, 19:31) *

Если не горит в первые 6 месяцев живет как правило 4-5 лет. Больше не пробовал так как сервер морально устаревает. Сегейты летят чаше. Инструментарий делаю бекапы локально и на удаленный сервер.

Инструментарий восстановления инфы с винтов Если быкапы делались 6 мес назад, то на фиг они нужны?

Автор: Ivan 04.10.2011, 22:12

ты про SATA или SAS?

SATA - около 100 серверов ~300 винтов, 2-3 винта в месяц.

Энтерпрайз серии, особенно сегейты дохнут реже. Самсунги дохнут все года за два. ВД - все года за 3, рапторы аналогично. Сегейты, особливо NS могут дожить до морального старения в благополучном виде. Хитачи чуть хуже сегейтов.

Объемы мне считать лень, если мне за это ничего не светит. Сейчас ставим терабайтники на замену всему.

SAS - около 30 серверов ~ 60 винтов. 2-3 винта в год.

SSD еще не дохли, используем штук 5 SLC, взял на пробу пару MLC - посмотрю на скорость запиливания.

Инфу с винтов еще не разу не востановливали ибо зеркала и бэкапы.

Автор: kpv 04.10.2011, 23:02

Цитата(Anatoly Bogdanov @ 04.10.2011, 22:40) *

Инструментарий восстановления инфы с винтов Если быкапы делались 6 мес назад, то на фиг они нужны?

Тогда инструмент называет "кол". На этот инструмент надо посадить того, кто не делает бэкапы.
Восстановление инфы со сдохшего винта лучше поручить профессионально занимающимся людям, но даже если делать это самому, то одного инструмента мало - надо знать устройство файловой системы, чтобы уметь это восстанавливать.

Автор: Anatoly Bogdanov 04.10.2011, 23:09

Цитата(kpv @ 05.10.2011, 00:02) *

Тогда инструмент называет "кол". На этот инструмент надо посадить того, кто не делает бэкапы.
Восстановление инфы со сдохшего винта лучше поручить профессионально занимающимся людям, но даже если делать это самому, то одного инструмента мало - надо знать устройство файловой системы, чтобы уметь это восстанавливать.

они уже пошли, друг у друга, по второму кругу, локти кусать cool.gif

в звезду и красную армию!!! по факту даже не лимитируем их, нетблин, бэкапы мы принципиально не делаем....

не спим, о бэкапах думаем biggrin.gif я тут прикинул =) у нас два хранилища общим объёмом 25-30 терра =) занято примерно на 20%

Автор: Незаметдинов Ринат 05.10.2011, 02:15

да очень похожие данные, вот некоторые факты из личной статистики:

- Seagate помирают чаще чем WD
- Бэды/ремапы и т.п. вылезают либо сразу (в первый месяц), либо через несколько лет
- через ~4 года помирают и WD
- старые харды 150-250Gb живут дольше (5лет в среднем), чем 500Gb
- а новые 1Tb отказывают еще быстрее, чем 500Gb
- хард с температурой (по данным smartcl) 20-25°С имеет больше шансов прожить весь гарантийный срок (~3года)
- такой же хард с температурой 30-35°C не доживает до конца гарантийного срока

P.S. Инструментарием пользоваться не приходится тьфу-тьфу-тьфу, благо везде mirror или raid10
P.P.S. один винт в месяц напрямую зависит от парка машин, в крупном ДЦ будет "капля в море", а в мелкой конторе на полтора сисадмина нереально много.

Автор: rustelekom 05.10.2011, 13:46

а что рейд. а если сдохнет контроллер? кирдык тогда вашим данным. вот сейчас прислали:

"Greetings! As you are most likely aware, our ********** Windows VPS node suffered a severe hardware failure early Saturday morning. After thorough investigation, we’ve determined that the incident was caused by a failed RAID controller. Unfortunately, that failed controller also seems to have corrupted a large portion of the file structure and data on the drives which directly led to the crash of the hardware node as crucial files were corrupted. All attempts over the last 48 hours via several means have failed to recover the data, including several very time consuming attempts to mount and extract the data using virtually every method at our disposal. Unfortunately, our efforts have not yielded any results and so at this time, we must pronounce the data on ******** a 100% loss due to corruption of the RAID10 array. While this is devastating for us, we understand that it is even more devastating for all of you. Hardware failures are unfortunately a part of dealing with physi!
cal servers and despite the precautions in place to prevent such occurences, it is unfortunately something that can and does happen to us as well as other hosting providers, and we want you to know that we do understand that doesn’t make them any less difficult to deal with. We sincerely value your business and we want to do what we can to help you through this. We will be extending our technical support services to you, whether you be managed or unmanaged, to help you to restore your servers should you have a backup or need other technical assistance. While these types of failures are very, very rare, they unfortunately do happen and we would like to ensure that each and every one of you are taken care of. Please contact us at your earliest convenience via ****** and we would be happy to provide any assistance we can. Thank you for your understanding, ********"

А бекапить впсную ноду сами понимаете как легко.
Что касается тулз -пару раз пытались R-Studio for Linux - мало чем помогает. А так в основном это сервисные службы со стоимостью от 2000 евро. Правда надо заметить что проблемные диски были с ext3.

Автор: Ivan 05.10.2011, 21:29

что бы не дох контроллер, неча ставить апаратные рейды smile.gif ну или держать в резерве железяку.

Автор: Anatoly Bogdanov 05.10.2011, 23:13

Цитата(Незаметдинов Ринат @ 05.10.2011, 03:15) *

один винт в месяц напрямую зависит от парка машин, в крупном ДЦ будет "капля в море", а в мелкой конторе на полтора сисадмина нереально много.

больше сотни, в некоторых по два-четыре воткнуто.

Автор: kpv 06.10.2011, 11:59

Цитата(Ivan @ 05.10.2011, 22:29) *

апаратные рейды smile.gif ну или держать в резерве железяку.

к тому времени когда дохнет аппаратная железка:
- железка, лежащая в резерве, уже настолько морально устарела, что нередко получается выкинутые деньги на ветер, по сравнению с тем, что можно купить новое.
- есть очень ненулевой риск, что железка не запустится
- такой железки уже давно нет в продаже, и даже если обратиться по гарантии, то вендор всё равно взамен предлагает другую железку.


В условиях аренды рейда в датацентре - смысл ещё какой-то есть, так как больше вероятность, что найдётся работающая платформа на замену.

Автор: Lolth 23.10.2011, 00:54

По своему опыту - хитачи живут дольше и не "чихают" в процессе,как это было с сегейтами.

Автор: iwant2beahoster 07.11.2011, 12:09

А как вы мониторите SSD диски чтобы узнать когда они готовятся умирать?
Дело в том что я видел SMART информацию с 32 Gb SSD дисков Korsair и понял что там отображается полная чушь.

Автор: Ivan 07.11.2011, 18:15

У интелей смарты получше. А при зеркале момент смерти ссд не так страшен, главное не одновременно .

Автор: eSupport.org.ua 07.11.2011, 18:47

CDP от R1Soft решение проблемы

Автор: Lolth 07.11.2011, 19:30

Цитата(eSupport.org.ua @ 07.11.2011, 18:47) *

CDP от R1Soft решение проблемы

И на сколько хватает этого решения? Чем оно лучше?

Автор: freehoster 08.11.2011, 05:34

ну раньше были макстор жесткие, по ним классно было ориентироваться, головой стучит - через месяц а то и больше смерть...хотя некоторые модели голвами постукивают, но упорно пашут уже 2й если не третий год!

Автор: iwant2beahoster 10.11.2011, 13:44

Мой знакомый столкнулся с проблемой такого плана что ssd диск работает
но в некоторых местах записываемое не соответствует читаемому. Видимо отсутствует контроль по чётности. Либо контроль чётности сбоит аналогичным образом и отключается. Так что винт читается на ура. А вот в случае зеркала из двух винтов непонятно кому верить. Очевидно требуется третий для записи чётности.

Винт проработал чуть больше года.

Автор: altura.ru 11.11.2011, 04:08

Интересная тема.

Большенство винтов у нас в цоде SATA Seagate.

Вообще в этом месяце подохло несколько винтов все NS серии! Годиков им по 5-6 Аналогичные винты обычных серий (7200 AS) живут...

Автор: iwant2beahoster 13.11.2011, 03:25

А как вы принимаете решение что пора менять винт?
Достаточно ли информации SMART типа Realocated count или Pending count если одно из этих значений стало отличаться от нуля?

Как в случае ещё гарантийного диска и как в случае того у которого гарантия вышла.

Например винт гарантийный а вот сегодня на нём выскочил Realocated count = 1
Снимаем бежим пока гарантия не вышла?
А когда гарантия давно вышла ждёте пока не заполнится половина запасной области?
Но ведь это снижает скорость работы диска.

Какой стратегии вы придерживаетесь?

Автор: eSupport.org.ua 13.11.2011, 17:36

raid+backup наше все

Автор: iwant2beahoster 14.11.2011, 00:50

Цитата(eSupport.org.ua @ 13.11.2011, 17:36) *
raid+backup наше все

Это как понимать? Винт меняете когда он совсем мертвый? smile.gif

Автор: eSupport.org.ua 14.11.2011, 13:20

Это понять как "от смерти одного винта ничего страшного не происходит"

Автор: kpv 14.11.2011, 13:59

страх наступает после смерти smile.gif
типа такого:
техподдержка: о ужас, у нас сдохло 12 винтов из 13 в нашем супер-пупер рейде, срочно меняем сдохшие винты, иначе всё навернётся!!!
снабжение:такие винты уже давно не в моде и вообще в таиланде наводнение, винтов не будет до весны
финотдел: когда вы нам отремонируете наш клиент банк, тогда и оплатим счёт на новые железки
директор: уволю всех или продам в рабство

Автор: iwant2beahoster 17.11.2011, 02:11

Цитата(kpv @ 14.11.2011, 13:59) *

страх наступает после смерти smile.gif
типа такого:
техподдержка: о ужас, у нас сдохло 12 винтов из 13 в нашем супер-пупер рейде, срочно меняем сдохшие винты, иначе всё навернётся!!!
....

Вот в этом то и дело.
Я понял что мониторить SMART в рейде придумали психи. А нормальные пацаны ставят рейды, с батарейками, по 3 винта в зеркало. И шевелиться начинают только тогда, когда 2 винта уже сгорели, а последний начал сыпаться. И обнаружили это случайно, когда клиент 7 дней подряд матом крыл техсаппорт, что у него фигня какая-то с хостингом творится. rolleyes.gif

Батарейка в рейде тоже лишней выглядит, мало того что её нужно тренировать иногда, так ещё и портится, а это значит лишний раз оторвать попу от стула и бежать в холод. И вдруг наводнение на заводе батареек. Или землетрясение. А нет батарейки - нет и проблемы. laugh.gif

Собственно вопрос звучал так:
Является ли relocation couter сигналом к замене винта?

Автор: Maxim Volgin 17.11.2011, 12:58

Рейды не юзаю принципиально. Всегда имею резервный сервер. И переношу на него когда имею ошибки в dmesg. Но бекапы: на локалный диск на отделенный сервер и в офис. За 10 лет бекапы понадобились 2 раза а так все или почти все получалось перелить со старого.

Автор: eSupport.org.ua 17.11.2011, 13:35

Цитата(kpv @ 14.11.2011, 13:59) *

страх наступает после смерти smile.gif
типа такого:
техподдержка: о ужас, у нас сдохло 12 винтов из 13 в нашем супер-пупер рейде, срочно меняем сдохшие винты, иначе всё навернётся!!!
снабжение:такие винты уже давно не в моде и вообще в таиланде наводнение, винтов не будет до весны
финотдел: когда вы нам отремонируете наш клиент банк, тогда и оплатим счёт на новые железки
директор: уволю всех или продам в рабство


Директор виноват. Он не подумал о том, чтоб надо было купить запас винтов заранее.

Автор: DCUA 17.11.2011, 16:36

Цитата(Maxim Volgin @ 17.11.2011, 11:58) *

Рейды не юзаю принципиально. Всегда имею резервный сервер. И переношу на него когда имею ошибки в dmesg. Но бекапы: на локалный диск на отделенный сервер и в офис. За 10 лет бекапы понадобились 2 раза а так все или почти все получалось перелить со старого.


Было время, я тоже http://blog.domen.com.ua/archives/77.
И как, я скажу, было приятно поменять пару винтов, но уже без всей той тягомотины и нервов с восстановлением.


Цитата(iwant2beahoster @ 17.11.2011, 01:11) *

Батарейка в рейде тоже лишней выглядит, мало того что её нужно тренировать иногда, так ещё и портится, а это значит лишний раз оторвать попу от стула и бежать в холод. И вдруг наводнение на заводе батареек. Или землетрясение. А нет батарейки - нет и проблемы. laugh.gif


Батарейка - это действительно опция.
Она ведь только для кеширования записи интересна, или нет ?

Автор: kpv 17.11.2011, 20:42

Цитата(iwant2beahoster @ 17.11.2011, 03:11) *

Является ли relocation couter=1 сигналом к замене винта?


нет.

Автор: kpv 17.11.2011, 21:22

Там счётчик пороговый. Есть ремап область, в которой определенное количество секторов. Надо сравнивать значение в столбце VALUE с значением в THRESH (в смарте), если близко или ниже THRESH - тогда меняем. в RAW в этот момент можете увидеть примерный размер ремапа.
поглядывайте на разницу между Reallocated Sectors Count и Reallocation Event Count.

Автор: kpv 17.11.2011, 22:00

Цитата(iwant2beahoster @ 17.11.2011, 03:11) *

Батарейка в рейде

тоже мониторится wink.gif

Автор: iwant2beahoster 18.11.2011, 04:06

Цитата(Maxim Volgin @ 17.11.2011, 12:58) *
Рейды не юзаю принципиально. Всегда имею резервный сервер. И переношу на него когда имею ошибки в dmesg. Но бекапы: на локалный диск на отделенный сервер и в офис. За 10 лет бекапы понадобились 2 раза а так все или почти все получалось перелить со старого.
Довольно интересная позиция. Но не для хостера. RAID это не только некоторая надёжность хранения данных, он же ещё и кеш-контроллер, и распараллеливатель однотипных операций на разные винты так чтобы винты отдали информацию быстрее.

Цитата(kpv @ 17.11.2011, 20:42) *
Цитата
Является ли relocation couter=1 сигналом к замене винта?
нет.

Там счётчик пороговый. Есть ремап область, в которой определенное количество секторов. Надо сравнивать значение в столбце VALUE с значением в THRESH (в смарте), если близко или ниже THRESH - тогда меняем. в RAW в этот момент можете увидеть примерный размер ремапа.
поглядывайте на разницу между Reallocated Sectors Count и Reallocation Event Count.

А что, головами диск не дёргает при перескоках в область ремапинга и время на это не тратит? Скорость чтения последовательности секторов среди которых есть ремап - ниже. Понятно, что нужно ещё попасть сбоем в часто читаемый сектор чтобы производительность во время реальной работы сильно упала. Но зачем ждать если гарантия на винт ещё не вышла? Не проще ли поменять его сразу как только стало ясно что винт сыплется?

Автор: kpv 18.11.2011, 09:49

Ремапинг секторов - это штатная процедура, а не "винчестер начал сыпаться".

Цитата(iwant2beahoster @ 18.11.2011, 05:06) *

Но зачем ждать если гарантия на винт ещё не вышла? Не проще ли поменять его сразу как только стало ясно что винт сыплется?

От гаранта и от гарантии зависит. Не захочет менять - не поменяет.

Автор: Maxim Volgin 18.11.2011, 18:30

Цитата(iwant2beahoster @ 18.11.2011, 04:06) *

Довольно интересная позиция. Но не для хостера. RAID это не только некоторая надёжность хранения данных, он же ещё и кеш-контроллер, и распараллеливатель однотипных операций на разные винты так чтобы винты отдали информацию быстрее.


Надежность сомнительно и спорно. А скорость она прямыми руками больше дается чем всеми прибамбасами вместе взятыми.



Автор: iwant2beahoster 19.11.2011, 05:19

Цитата(Maxim Volgin @ 18.11.2011, 18:30) *

Надежность сомнительно и спорно. А скорость она прямыми руками больше дается чем всеми прибамбасами вместе взятыми.
Безусловно, RAID контроллер это такой же микропрограммный автомат, как и все другие. Он, повышая надёжность винтов как хранилища, сам является Single Point of Failure. Конечно его можно полностью эмулировать на CPU. Но вы знаете 16-ти 24-х 45-ти канальные SATA контроллеры поддерживающие hotswap? Максимум что я видел в интернете - 8 SATA каналов от Supermicro.

Автор: Ivan 19.11.2011, 09:06

Во первых, есть сата расширители.
Во вторых - а зачем? Зачем 45 сата винтов? Есть применение для 90 терабайт - который могут одномоментно гигнуться и подымай 90 тер с бэкапов?

Автор: iwant2beahoster 19.11.2011, 13:03

Цитата(Ivan @ 19.11.2011, 09:06) *

Во первых, есть сата расширители.
Во вторых - а зачем? Зачем 45 сата винтов? Есть применение для 90 терабайт - который могут одномоментно гигнуться и подымай 90 тер с бэкапов?
Во первых, SATA расширители снижают скорость обмена с дисками.
Во вторых, вы неверно считаете. И 45 дисков это только в JBOD к которому в основном сервере стоит скажем ещё 36 дисков. 36+45=81 диск для RAID10 дадут 40 зеркальных пар. Если диск 2 TB то это в сумме 80TB

А проблема утилизации 80TB мне кажется надуманной. Посмотрите на цены. Диски VDS серверов растут. Предоставляемые объёмы пользователям shared хостинга теряют ограничения.

Чтобы не заморачиваться с бэкапами стораджа целиком ставится два зеркальных сервера. Получается HA кластер. Или я неверно понимаю мировые тенденции? Бэкапы это только для восстановления одной виртуалки. Массовое восстановление это от неправильного проектирования.

Автор: Ivan 19.11.2011, 14:09

Ну, с моей стороны есть несколько сотен клиентских вдсов и статистика по реальному потреблению ио и места вдсами, кстати, и других мощностей за 10 лет.

Вполне возможно, я забурел и не понимаю тенеций. Мое мнение - вдс, это то, что работает и шевелится. Для хранения терабайт информации есть всяческие бэкапные сервера и amazonS3. Я бы напирал на иопсы, а не на террабайты места. Вот их любят пользователи вдс. Нет иопсов- обзывают тебя всякими нехорошими словами.

С вашей - собственное виденье проблемы. Подымите ха кластер с 80 терами стораджа и зеркалированием по 10G, проверьте мировые тендеции. На мой взгляд, тендеции, как правило, в диком оверселлинге и даванию клиенту по морде за попытку получить, то, что декларировано в тарифе но о чем написано в TOS и AUP

И я бы никому не советовал жить без бэкапов...

Автор: eSupport.org.ua 19.11.2011, 17:18

Ivan таки спалил тему, ну вот...

Автор: iwant2beahoster 20.11.2011, 02:33

Цитата(Ivan @ 19.11.2011, 14:09) *

Ну, с моей стороны есть несколько сотен клиентских вдсов и статистика по реальному потреблению ио и места вдсами, кстати, и других мощностей за 10 лет.
было бы интересно увидеть, если не тайна.
Цитата(Ivan @ 19.11.2011, 14:09) *
Вполне возможно, я забурел и не понимаю тенеций. Мое мнение - вдс, это то, что работает и шевелится. Для хранения терабайт информации есть всяческие бэкапные сервера и amazonS3. Я бы напирал на иопсы, а не на террабайты места. Вот их любят пользователи вдс. Нет иопсов- обзывают тебя всякими нехорошими словами.
В примере мы взлетели до 2TB SATA дисков. А что с SAS? Там из винтов 147Gb набрать терабайты будет очень сложно. Там и будет упор (нехватка) по количеству дисков. Будет хотеться ещё и ещё.
Цитата(Ivan @ 19.11.2011, 14:09) *
С вашей - собственное виденье проблемы. Подымите ха кластер с 80 терами стораджа и зеркалированием по 10G, проверьте мировые тендеции. На мой взгляд, тендеции, как правило, в диком оверселлинге и даванию клиенту по морде за попытку получить, то, что декларировано в тарифе но о чем написано в TOS и AUP
10G это в два/четыре раза худее чем IB. Но кластер хорош миграцией виртуалок в нём, в то время как без кластера в случае проблем аппаратного уровня будет стоп всем виртуалкам и длительное копирование виртуалок на другой сервер. Или перенос прямо с дисками если есть идентичная железяка. Но в любом случае это время.
Цитата(Ivan @ 19.11.2011, 14:09) *
И я бы никому не советовал жить без бэкапов...
Ой, а кто вздумал без них? И в сааамый дальний ДЦ, даже в два. Раскошелиться на проводку прийдётся, а как же.

Нет, я всё же скажу что RAID это вешь архиполезная.

Автор: Maxim Volgin 21.11.2011, 17:45

10 + лет на рынке 25 серверов и нет ни оного где занято больше 80 гигов. И на фига мне ваш рейд сдался? Да я сервер заменю быстрее чем у Вас fsck супер пупер быстрый рейд прочекает.

Ну а по теме после переезда с дц в дц - вылетели 4 харда. 3 вдешки 1 сейгет но вдешек было 20 а сегейтов 4. Вылетели тока новые дорогие серверно оптимизированные - блин. Старые харды для простых смертных переезд пережили без проблем.


Автор: Roman Hirauka 21.11.2011, 18:17

Цитата(Maxim Volgin @ 21.11.2011, 17:45) *

10 + лет на рынке 25 серверов и нет ни оного где занято больше 80 гигов. И на фига мне ваш рейд сдался? Да я сервер заменю быстрее чем у Вас fsck супер пупер быстрый рейд прочекает.

Ну а по теме после переезда с дц в дц - вылетели 4 харда. 3 вдешки 1 сейгет но вдешек было 20 а сегейтов 4. Вылетели тока новые дорогие серверно оптимизированные - блин. Старые харды для простых смертных переезд пережили без проблем.

Кхм... А при чём тут рейд и сколько там места занято в общем и целом? По-моему не в том контексте говорят о рейде обычно. Про 80 гигов ноу комментс.

Автор: Maxim Volgin 21.11.2011, 19:22

К тому что была озвучена позиция что хостер не может жить без рейдов. Ну а моя идея в том что самый простой способ понять надежность и скорость не пихать на 1 сервер кучу клиентов smile.gif

Автор: Roman Hirauka 21.11.2011, 19:41

Цитата(Maxim Volgin @ 21.11.2011, 19:22) *

К тому что была озвучена позиция что хостер не может жить без рейдов. Ну а моя идея в том что самый простой способ понять надежность и скорость не пихать на 1 сервер кучу клиентов smile.gif

А где взаимосвязь между количеством клиентов на сервере и надёжностью? Я вот как-то не улавливаю этой связи.

Автор: Maxim Volgin 22.11.2011, 11:55

Как бы прямая... чем больше нагрузка тем раньше сдохнет. Кроме того если если тратит деньги не на рейд а скажем так купить на них 4 сервера вместо одного то даже в случае проблем пострадать не все а только 1/4. Ну или резервировать целый сервер - чем плодить кучи хардов и испытывать счастья от их смены.

Автор: Roman Hirauka 22.11.2011, 12:32

Цитата(Maxim Volgin @ 22.11.2011, 11:55) *

Как бы прямая... чем больше нагрузка тем раньше сдохнет. Кроме того если если тратит деньги не на рейд а скажем так купить на них 4 сервера вместо одного то даже в случае проблем пострадать не все а только 1/4. Ну или резервировать целый сервер - чем плодить кучи хардов и испытывать счастья от их смены.

Хм... Отчасти с этим можно согласиться. Но, я говорил в другом контексте. Как это ПОВЫШАЕТ надёжность? Покажите мне такой рейд-контроллер за цену которого можно купить 4 сервера. Очень хочу посмотреть на этого монстра. Хотя, я не знаю, какие именно серверы Вы имели ввиду. Софтовый рейд, кстате, никто не отменял. Потерять 1/4 клиентов - это катастрофа вселенского маштаба для хостера. Потеря по вине хостера безвозвратно данных даже одного клиента - ЧП!
Я тут в теме отписался не потому, что я ярый сторонник рейдов ни рейдов и тп. Каждый выбирает сам, как ему бэкапить, куда, что. Я бэкапы организовывал наличием RAID 1 + бэкапы кидались локально на машине на отдельные винты + удалённые бэкапы на отдельную машину. Зачем мне бэкапить ВЕСЬ сервер? Мне надо бэкапить самое ценное и святое - данные клиентов размещенные на сервере.
Просто когда хостер работающий 10 лет спокойно говорит, что пострадает 1/4 клиентов и всё как бы нормально. У меня возникает закономерный вопрос: а нет ли у него какой-то ошибки в подписи.

Автор: Maxim Volgin 22.11.2011, 20:31

Ой да ладно дешевый авторитет зарабатывать. Если вы еще не падали то только потому что нафиг некому были нужны.

Автор: Roman Hirauka 22.11.2011, 22:59

Цитата(Maxim Volgin @ 22.11.2011, 20:31) *

Ой да ладно дешевый авторитет зарабатывать. Если вы еще не падали то только потому что нафиг некому были нужны.

Ваш авторитет в моих глазах уже рухнул дважды. Если найдёте что сказать по теме разговора, пишите. Если сказать нечего по сути, то для перехода на личности есть ЛС.

ALL

У кого есть опыт хранения данных на серваке под хранилище на айскази для виртуализации, допустим Xen, на гигабитном порту? Будут ли затыки по скорости в таком решении, или нужно десятку подключение?
Какие диски и т.п. значения принципиального не имеет, просто интересен опыт использования на нагруженных системах.

Автор: eSupport.org.ua 22.11.2011, 23:25

Цитата(Maxim Volgin @ 21.11.2011, 17:45) *

Да я сервер заменю быстрее чем у Вас fsck супер пупер быстрый рейд прочекает.

fsck чекает файловую систему. К рейду он отношения не имеет. Стыдно не знать.


Да, будут затыки на гигабите.

Автор: iwant2beahoster 23.11.2011, 01:10

Обычно в серверных мамках стоят 2 порта. Поток нужно распараллелить на два интерфейса и теоретически "затыки" начнутся на хранилище если к нему подключены несколько нод. Но я так прикидывал, что нужно со стороны ноды делать 1+1Gbps, а вот на хранилище 10+10Gbps и всё это вставить в два закольцованных 24x1Gbps + 2x10Gbps свитча. И 10-ка между свитчами. Тогда всё должно сравнительно весело бегать.

Автор: Maxim Volgin 23.11.2011, 01:55

Цитата(eSupport.org.ua @ 22.11.2011, 22:25) *

fsck чекает файловую систему. К рейду он отношения не имеет. Стыдно не знать.


Для тех кто в танке: имелось в виду скорость (время _о ужас_ простоя) банального ребута системы рейдом и без особенно в случае когда запускаться проверка диска.


Автор: eSupport.org.ua 23.11.2011, 07:16

Цитата(Maxim Volgin @ 23.11.2011, 01:55) *

Для тех кто в танке: имелось в виду скорость (время _о ужас_ простоя) банального ребута системы рейдом и без особенно в случае когда запускаться проверка диска.

Ах, ну да. Конечно! Ведь без рейда fsck не запускается, точно.


Автор: Roman Hirauka 23.11.2011, 09:40

Цитата(eSupport.org.ua @ 22.11.2011, 23:25) *

Да, будут затыки на гигабите.

А какое бы Вы решение посоветовали для удалённого хранилища именно под нагруженную систему? Просто бэкапить, это понятно. А вот когда хранилище будет очень активно юзаться, тут встаёт вопрос о производительности и скорости.

Автор: Maxim Volgin 23.11.2011, 12:03

Цитата(eSupport.org.ua @ 23.11.2011, 07:16) *

Ах, ну да. Конечно! Ведь без рейда fsck не запускается, точно.


Ключевое слово было скорость проверки. Не говоря уже просто о времени загрузки простого бюджетного сервер и супер пупер бреднда с мега рейдом - оно тока лампочками 3 минуты мигает.

Буквально сводки с фронта:

Цитата

Max, all these problems are because I did not know there was a problem with the disks. The server degraded the disk array a couple of days before the server failed but I was not aware of that, I could have saved it if I knew.


- его рейд прожил 3 месяца. И это второй сбой за это год. А по началу он тоже так очень надменно с меня смеялся....

Автор: DCUA 23.11.2011, 12:19

Цитата(Maxim Volgin @ 23.11.2011, 11:03) *

Ключевое слово было скорость проверки. Не говоря уже просто о времени загрузки простого бюджетного сервер и супер пупер бреднда с мега рейдом - оно тока лампочками 3 минуты мигает.

Буквально сводки с фронта:
- его рейд прожил 3 месяца. И это второй сбой за это год. А по началу он тоже так очень надменно с меня смеялся....



smile.gif
Нет, ну можно ещё дорогу переходить и по сторонам не смотреть. Будут виноваты водители и строители дорог, но только не клиент.

Если б твой клиент получил уведомлялку о деградации, то он бы просто заранее поменял винт и никаких проблем у него не было бы вообще. Максимум - один ребут для уверенности.
А есть ещё и spare disks.


По скорости fsck - он одинаково будет чекать одинаковый объём. raid там или нет - ему пофиг. Кстати, может raid даже будет чекать быстрее (не уверен).
По скорости загрузки - на полминуты больше, это максимум.
По деньгам - да, наша raid-конфигурация стоит в 1.5 раза больше, чем такой же сервер без raid. В основном - за счёт дублирующихся винтов, сам рэйд не сильно дорогой. Но ИМХО - воно того стоит.

Автор: iwant2beahoster 23.11.2011, 12:48

Цитата(Maxim Volgin @ 23.11.2011, 12:03) *

Ключевое слово было скорость проверки. Не говоря уже просто о времени загрузки простого бюджетного сервер и супер пупер бреднда с мега рейдом - оно тока лампочками 3 минуты мигает.

Буквально сводки с фронта:
- его рейд прожил 3 месяца. И это второй сбой за это год. А по началу он тоже так очень надменно с меня смеялся....

Максим, я думаю не стоит здесь ломать копья по поводу того использовать RAID или нет. Здесь все люди взрослые и убеждения у каждого свои. Каждый вибирает своё. Но ответьте себе станете ли вы КРИЧАТЬ своим пользователям со страниц своего сайта, что по своим убеждениям принципиально не используете аппаратных RAID?
Использование аппаратных RAID в высоконадёжных высоконагруженных системах это норма. Не стоит это отрицать.

Автор: iwant2beahoster 23.11.2011, 13:02

Цитата(Roman Hirauka @ 23.11.2011, 09:40) *
А какое бы Вы решение посоветовали для удалённого хранилища именно под нагруженную систему? Просто бэкапить, это понятно. А вот когда хранилище будет очень активно юзаться, тут встаёт вопрос о производительности и скорости.

Если не сильно экономить тогда
* Медный 10G ethernet (если только две ноды то соединить портом в порт без свитча)
* Infiniband x2 x4 (не нашёл информацию работает ли он без свитча порт в порт)
Если же побрыкаться подешевле то Nx1Gbps
Теоретическая пропускная способность 1Gbps примерно 125 мегабайт в секунду. Реальная скажем в 2 раза ниже. Используйте 2 канала и вы заткнёте производительность SATA диска.

Автор: Maxim Volgin 23.11.2011, 13:13

Цитата(iwant2beahoster @ 23.11.2011, 12:48) *

Максим, я думаю не стоит здесь ломать копья по поводу того использовать RAID или нет. Здесь все люди взрослые и убеждения у каждого свои. Каждый вибирает своё. Но ответьте себе станете ли вы КРИЧАТЬ своим пользователям со страниц своего сайта, что по своим убеждениям принципиально не используете аппаратных RAID?
Использование аппаратных RAID в высоконадёжных высоконагруженных системах это норма. Не стоит это отрицать.


Феерическая глупость это таки да норма для индустрии. На сайте у меня нет не слова пр о рейды.

Автор: iwant2beahoster 24.11.2011, 03:21

Цитата(Maxim Volgin @ 23.11.2011, 13:13) *
Феерическая глупость это таки да норма для индустрии. На сайте у меня нет не слова пр о рейды.
Я догадался, что про рейды вы молчите. Но я имел ввиду написать большими буквами на сайте о "феерической глупости" всех тех кто считает что HW RAID это норма. Написать том что вы принципиальный противник аппаратного RAID. Это привлечёт покупателей.

Автор: Maxim Volgin 24.11.2011, 11:19

Если я начну описывать все идиотизмы хостинг провайдеров то мне сайта не хватит и у сайта немного другая цель.

Автор: eSupport.org.ua 24.11.2011, 12:53

Цитата(Maxim Volgin @ 23.11.2011, 13:03) *

Ключевое слово было скорость проверки. Не говоря уже просто о времени загрузки простого бюджетного сервер и супер пупер бреднда с мега рейдом - оно тока лампочками 3 минуты мигает.


Обычный софтрейд загружается вместе с системой. И скорость проверки диска от рейда ну никак не зависит.

Автор: Maxim Volgin 24.11.2011, 13:59

Вы еще скажите что софтовый ред с нормальной скоростью работает smile.gif Такое впечатление что вы вообще с ним дела не имели.

Автор: Roman Hirauka 24.11.2011, 17:06

Имели, работает нормально.

Автор: iwant2beahoster 25.11.2011, 01:25

Цитата(Maxim Volgin @ 24.11.2011, 13:59) *
Вы еще скажите что софтовый ред с нормальной скоростью работает smile.gif Такое впечатление что вы вообще с ним дела не имели.
Чем отличается софтовый рейд от аппаратного? Местом где выполняется RAID код. Тем что в одном случае RAID код выполняется на центральном процессоре, а во втором на специальном процессоре установленном в отдельной плате. Тем что работающие винты не терроризируют систему прерываний и шины мамки и она в это время может заниматься другими важными делами. Например обслуживать Infiniband 12X QDR сетевую карту. smile.gif

Русская версия Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)