Винтокапец!, инструментарий |
Здравствуйте, гость ( Вход | Регистрация )
Винтокапец!, инструментарий |
Anatoly Bogdanov |
04.10.2011, 18:20
Сообщение
#1
|
Группа: Старые пользователи Сообщений: 2,505 Регистрация: 18.07.2004 Из: RU, SPb Пользователь №: 553 Репутация: 234 |
Коллеги, дамы анд господа, просто сочувствующие и любопытствующие!
Интересует инструментарий и статистика. Статистика по количеству дохлых винтов, бренд, объём. Инструментарий восстановления инфы с винтов, какой, программно-аппаратный? ЗЫ один винт в месяц это много или мало? |
kpv |
17.11.2011, 22:00
Сообщение
#31
|
DELEGATED, VERIFIED Группа: Старые пользователи Сообщений: 913 Регистрация: 10.03.2005 Из: Рувеба Пользователь №: 1,129 Репутация: 238 |
|
iwant2beahoster |
18.11.2011, 04:06
Сообщение
#32
|
Группа: Старые пользователи Сообщений: 65 Регистрация: 22.10.2011 Из: Прага Пользователь №: 16,176 Репутация: 177 |
Рейды не юзаю принципиально. Всегда имею резервный сервер. И переношу на него когда имею ошибки в dmesg. Но бекапы: на локалный диск на отделенный сервер и в офис. За 10 лет бекапы понадобились 2 раза а так все или почти все получалось перелить со старого. Довольно интересная позиция. Но не для хостера. RAID это не только некоторая надёжность хранения данных, он же ещё и кеш-контроллер, и распараллеливатель однотипных операций на разные винты так чтобы винты отдали информацию быстрее.Цитата Является ли relocation couter=1 сигналом к замене винта? нет.Там счётчик пороговый. Есть ремап область, в которой определенное количество секторов. Надо сравнивать значение в столбце VALUE с значением в THRESH (в смарте), если близко или ниже THRESH - тогда меняем. в RAW в этот момент можете увидеть примерный размер ремапа. поглядывайте на разницу между Reallocated Sectors Count и Reallocation Event Count. А что, головами диск не дёргает при перескоках в область ремапинга и время на это не тратит? Скорость чтения последовательности секторов среди которых есть ремап - ниже. Понятно, что нужно ещё попасть сбоем в часто читаемый сектор чтобы производительность во время реальной работы сильно упала. Но зачем ждать если гарантия на винт ещё не вышла? Не проще ли поменять его сразу как только стало ясно что винт сыплется? |
kpv |
18.11.2011, 09:49
Сообщение
#33
|
DELEGATED, VERIFIED Группа: Старые пользователи Сообщений: 913 Регистрация: 10.03.2005 Из: Рувеба Пользователь №: 1,129 Репутация: 238 |
Ремапинг секторов - это штатная процедура, а не "винчестер начал сыпаться".
Но зачем ждать если гарантия на винт ещё не вышла? Не проще ли поменять его сразу как только стало ясно что винт сыплется? От гаранта и от гарантии зависит. Не захочет менять - не поменяет. |
Maxim Volgin |
18.11.2011, 18:30
Сообщение
#34
|
Группа: Старые пользователи Сообщений: 448 Регистрация: 26.02.2008 Пользователь №: 7,018 Репутация: 198 |
Довольно интересная позиция. Но не для хостера. RAID это не только некоторая надёжность хранения данных, он же ещё и кеш-контроллер, и распараллеливатель однотипных операций на разные винты так чтобы винты отдали информацию быстрее. Надежность сомнительно и спорно. А скорость она прямыми руками больше дается чем всеми прибамбасами вместе взятыми. |
iwant2beahoster |
19.11.2011, 05:19
Сообщение
#35
|
Группа: Старые пользователи Сообщений: 65 Регистрация: 22.10.2011 Из: Прага Пользователь №: 16,176 Репутация: 177 |
Надежность сомнительно и спорно. А скорость она прямыми руками больше дается чем всеми прибамбасами вместе взятыми. |
Ivan |
19.11.2011, 09:06
Сообщение
#36
|
Отдыхаю Группа: Старые пользователи Сообщений: 3,533 Регистрация: 02.08.2002 Из: ЗАО "Рувеб" Пользователь №: 35 Репутация: 261 |
Во первых, есть сата расширители.
Во вторых - а зачем? Зачем 45 сата винтов? Есть применение для 90 терабайт - который могут одномоментно гигнуться и подымай 90 тер с бэкапов? Сообщение отредактировал Ivan - 19.11.2011, 09:07 |
iwant2beahoster |
19.11.2011, 13:03
Сообщение
#37
|
Группа: Старые пользователи Сообщений: 65 Регистрация: 22.10.2011 Из: Прага Пользователь №: 16,176 Репутация: 177 |
Во первых, есть сата расширители. Во вторых - а зачем? Зачем 45 сата винтов? Есть применение для 90 терабайт - который могут одномоментно гигнуться и подымай 90 тер с бэкапов? Во вторых, вы неверно считаете. И 45 дисков это только в JBOD к которому в основном сервере стоит скажем ещё 36 дисков. 36+45=81 диск для RAID10 дадут 40 зеркальных пар. Если диск 2 TB то это в сумме 80TB А проблема утилизации 80TB мне кажется надуманной. Посмотрите на цены. Диски VDS серверов растут. Предоставляемые объёмы пользователям shared хостинга теряют ограничения. Чтобы не заморачиваться с бэкапами стораджа целиком ставится два зеркальных сервера. Получается HA кластер. Или я неверно понимаю мировые тенденции? Бэкапы это только для восстановления одной виртуалки. Массовое восстановление это от неправильного проектирования. |
Ivan |
19.11.2011, 14:09
Сообщение
#38
|
Отдыхаю Группа: Старые пользователи Сообщений: 3,533 Регистрация: 02.08.2002 Из: ЗАО "Рувеб" Пользователь №: 35 Репутация: 261 |
Ну, с моей стороны есть несколько сотен клиентских вдсов и статистика по реальному потреблению ио и места вдсами, кстати, и других мощностей за 10 лет.
Вполне возможно, я забурел и не понимаю тенеций. Мое мнение - вдс, это то, что работает и шевелится. Для хранения терабайт информации есть всяческие бэкапные сервера и amazonS3. Я бы напирал на иопсы, а не на террабайты места. Вот их любят пользователи вдс. Нет иопсов- обзывают тебя всякими нехорошими словами. С вашей - собственное виденье проблемы. Подымите ха кластер с 80 терами стораджа и зеркалированием по 10G, проверьте мировые тендеции. На мой взгляд, тендеции, как правило, в диком оверселлинге и даванию клиенту по морде за попытку получить, то, что декларировано в тарифе но о чем написано в TOS и AUP И я бы никому не советовал жить без бэкапов... Сообщение отредактировал Ivan - 19.11.2011, 14:08 |
eSupport.org.ua |
19.11.2011, 17:18
Сообщение
#39
|
Одесский сисадмин Группа: Старые пользователи Сообщений: 5,200 Регистрация: 18.11.2004 Из: Одесса Пользователь №: 823 Репутация: 263 |
Ivan таки спалил тему, ну вот...
|
iwant2beahoster |
20.11.2011, 02:33
Сообщение
#40
|
Группа: Старые пользователи Сообщений: 65 Регистрация: 22.10.2011 Из: Прага Пользователь №: 16,176 Репутация: 177 |
Ну, с моей стороны есть несколько сотен клиентских вдсов и статистика по реальному потреблению ио и места вдсами, кстати, и других мощностей за 10 лет. Вполне возможно, я забурел и не понимаю тенеций. Мое мнение - вдс, это то, что работает и шевелится. Для хранения терабайт информации есть всяческие бэкапные сервера и amazonS3. Я бы напирал на иопсы, а не на террабайты места. Вот их любят пользователи вдс. Нет иопсов- обзывают тебя всякими нехорошими словами. В примере мы взлетели до 2TB SATA дисков. А что с SAS? Там из винтов 147Gb набрать терабайты будет очень сложно. Там и будет упор (нехватка) по количеству дисков. Будет хотеться ещё и ещё.С вашей - собственное виденье проблемы. Подымите ха кластер с 80 терами стораджа и зеркалированием по 10G, проверьте мировые тендеции. На мой взгляд, тендеции, как правило, в диком оверселлинге и даванию клиенту по морде за попытку получить, то, что декларировано в тарифе но о чем написано в TOS и AUP 10G это в два/четыре раза худее чем IB. Но кластер хорош миграцией виртуалок в нём, в то время как без кластера в случае проблем аппаратного уровня будет стоп всем виртуалкам и длительное копирование виртуалок на другой сервер. Или перенос прямо с дисками если есть идентичная железяка. Но в любом случае это время.И я бы никому не советовал жить без бэкапов... Ой, а кто вздумал без них? И в сааамый дальний ДЦ, даже в два. Раскошелиться на проводку прийдётся, а как же.Нет, я всё же скажу что RAID это вешь архиполезная. |
Maxim Volgin |
21.11.2011, 17:45
Сообщение
#41
|
Группа: Старые пользователи Сообщений: 448 Регистрация: 26.02.2008 Пользователь №: 7,018 Репутация: 198 |
10 + лет на рынке 25 серверов и нет ни оного где занято больше 80 гигов. И на фига мне ваш рейд сдался? Да я сервер заменю быстрее чем у Вас fsck супер пупер быстрый рейд прочекает.
Ну а по теме после переезда с дц в дц - вылетели 4 харда. 3 вдешки 1 сейгет но вдешек было 20 а сегейтов 4. Вылетели тока новые дорогие серверно оптимизированные - блин. Старые харды для простых смертных переезд пережили без проблем. |
Roman Hirauka |
21.11.2011, 18:17
Сообщение
#42
|
Группа: Старые пользователи Сообщений: 1,098 Регистрация: 06.01.2009 Из: Беларусь Пользователь №: 8,701 Репутация: 204 |
10 + лет на рынке 25 серверов и нет ни оного где занято больше 80 гигов. И на фига мне ваш рейд сдался? Да я сервер заменю быстрее чем у Вас fsck супер пупер быстрый рейд прочекает. Ну а по теме после переезда с дц в дц - вылетели 4 харда. 3 вдешки 1 сейгет но вдешек было 20 а сегейтов 4. Вылетели тока новые дорогие серверно оптимизированные - блин. Старые харды для простых смертных переезд пережили без проблем. Кхм... А при чём тут рейд и сколько там места занято в общем и целом? По-моему не в том контексте говорят о рейде обычно. Про 80 гигов ноу комментс. |
Maxim Volgin |
21.11.2011, 19:22
Сообщение
#43
|
Группа: Старые пользователи Сообщений: 448 Регистрация: 26.02.2008 Пользователь №: 7,018 Репутация: 198 |
К тому что была озвучена позиция что хостер не может жить без рейдов. Ну а моя идея в том что самый простой способ понять надежность и скорость не пихать на 1 сервер кучу клиентов (IMG:style_emoticons/default/smile.gif)
|
Roman Hirauka |
21.11.2011, 19:41
Сообщение
#44
|
Группа: Старые пользователи Сообщений: 1,098 Регистрация: 06.01.2009 Из: Беларусь Пользователь №: 8,701 Репутация: 204 |
К тому что была озвучена позиция что хостер не может жить без рейдов. Ну а моя идея в том что самый простой способ понять надежность и скорость не пихать на 1 сервер кучу клиентов (IMG:style_emoticons/default/smile.gif) А где взаимосвязь между количеством клиентов на сервере и надёжностью? Я вот как-то не улавливаю этой связи. |
Maxim Volgin |
22.11.2011, 11:55
Сообщение
#45
|
Группа: Старые пользователи Сообщений: 448 Регистрация: 26.02.2008 Пользователь №: 7,018 Репутация: 198 |
Как бы прямая... чем больше нагрузка тем раньше сдохнет. Кроме того если если тратит деньги не на рейд а скажем так купить на них 4 сервера вместо одного то даже в случае проблем пострадать не все а только 1/4. Ну или резервировать целый сервер - чем плодить кучи хардов и испытывать счастья от их смены.
|
Roman Hirauka |
22.11.2011, 12:32
Сообщение
#46
|
Группа: Старые пользователи Сообщений: 1,098 Регистрация: 06.01.2009 Из: Беларусь Пользователь №: 8,701 Репутация: 204 |
Как бы прямая... чем больше нагрузка тем раньше сдохнет. Кроме того если если тратит деньги не на рейд а скажем так купить на них 4 сервера вместо одного то даже в случае проблем пострадать не все а только 1/4. Ну или резервировать целый сервер - чем плодить кучи хардов и испытывать счастья от их смены. Хм... Отчасти с этим можно согласиться. Но, я говорил в другом контексте. Как это ПОВЫШАЕТ надёжность? Покажите мне такой рейд-контроллер за цену которого можно купить 4 сервера. Очень хочу посмотреть на этого монстра. Хотя, я не знаю, какие именно серверы Вы имели ввиду. Софтовый рейд, кстате, никто не отменял. Потерять 1/4 клиентов - это катастрофа вселенского маштаба для хостера. Потеря по вине хостера безвозвратно данных даже одного клиента - ЧП! Я тут в теме отписался не потому, что я ярый сторонник рейдов ни рейдов и тп. Каждый выбирает сам, как ему бэкапить, куда, что. Я бэкапы организовывал наличием RAID 1 + бэкапы кидались локально на машине на отдельные винты + удалённые бэкапы на отдельную машину. Зачем мне бэкапить ВЕСЬ сервер? Мне надо бэкапить самое ценное и святое - данные клиентов размещенные на сервере. Просто когда хостер работающий 10 лет спокойно говорит, что пострадает 1/4 клиентов и всё как бы нормально. У меня возникает закономерный вопрос: а нет ли у него какой-то ошибки в подписи. |
Maxim Volgin |
22.11.2011, 20:31
Сообщение
#47
|
Группа: Старые пользователи Сообщений: 448 Регистрация: 26.02.2008 Пользователь №: 7,018 Репутация: 198 |
Ой да ладно дешевый авторитет зарабатывать. Если вы еще не падали то только потому что нафиг некому были нужны.
|
Roman Hirauka |
22.11.2011, 22:59
Сообщение
#48
|
Группа: Старые пользователи Сообщений: 1,098 Регистрация: 06.01.2009 Из: Беларусь Пользователь №: 8,701 Репутация: 204 |
Ой да ладно дешевый авторитет зарабатывать. Если вы еще не падали то только потому что нафиг некому были нужны. Ваш авторитет в моих глазах уже рухнул дважды. Если найдёте что сказать по теме разговора, пишите. Если сказать нечего по сути, то для перехода на личности есть ЛС. ALL У кого есть опыт хранения данных на серваке под хранилище на айскази для виртуализации, допустим Xen, на гигабитном порту? Будут ли затыки по скорости в таком решении, или нужно десятку подключение? Какие диски и т.п. значения принципиального не имеет, просто интересен опыт использования на нагруженных системах. |
eSupport.org.ua |
22.11.2011, 23:25
Сообщение
#49
|
Одесский сисадмин Группа: Старые пользователи Сообщений: 5,200 Регистрация: 18.11.2004 Из: Одесса Пользователь №: 823 Репутация: 263 |
|
iwant2beahoster |
23.11.2011, 01:10
Сообщение
#50
|
Группа: Старые пользователи Сообщений: 65 Регистрация: 22.10.2011 Из: Прага Пользователь №: 16,176 Репутация: 177 |
Обычно в серверных мамках стоят 2 порта. Поток нужно распараллелить на два интерфейса и теоретически "затыки" начнутся на хранилище если к нему подключены несколько нод. Но я так прикидывал, что нужно со стороны ноды делать 1+1Gbps, а вот на хранилище 10+10Gbps и всё это вставить в два закольцованных 24x1Gbps + 2x10Gbps свитча. И 10-ка между свитчами. Тогда всё должно сравнительно весело бегать.
|
Maxim Volgin |
23.11.2011, 01:55
Сообщение
#51
|
Группа: Старые пользователи Сообщений: 448 Регистрация: 26.02.2008 Пользователь №: 7,018 Репутация: 198 |
|
eSupport.org.ua |
23.11.2011, 07:16
Сообщение
#52
|
Одесский сисадмин Группа: Старые пользователи Сообщений: 5,200 Регистрация: 18.11.2004 Из: Одесса Пользователь №: 823 Репутация: 263 |
|
Roman Hirauka |
23.11.2011, 09:40
Сообщение
#53
|
Группа: Старые пользователи Сообщений: 1,098 Регистрация: 06.01.2009 Из: Беларусь Пользователь №: 8,701 Репутация: 204 |
|
Maxim Volgin |
23.11.2011, 12:03
Сообщение
#54
|
Группа: Старые пользователи Сообщений: 448 Регистрация: 26.02.2008 Пользователь №: 7,018 Репутация: 198 |
Ах, ну да. Конечно! Ведь без рейда fsck не запускается, точно. Ключевое слово было скорость проверки. Не говоря уже просто о времени загрузки простого бюджетного сервер и супер пупер бреднда с мега рейдом - оно тока лампочками 3 минуты мигает. Буквально сводки с фронта: Цитата Max, all these problems are because I did not know there was a problem with the disks. The server degraded the disk array a couple of days before the server failed but I was not aware of that, I could have saved it if I knew. - его рейд прожил 3 месяца. И это второй сбой за это год. А по началу он тоже так очень надменно с меня смеялся.... |
DCUA |
23.11.2011, 12:19
Сообщение
#55
|
Группа: Старые пользователи Сообщений: 734 Регистрация: 05.06.2003 Из: Украина, Харьков Пользователь №: 193 Репутация: 242 |
Ключевое слово было скорость проверки. Не говоря уже просто о времени загрузки простого бюджетного сервер и супер пупер бреднда с мега рейдом - оно тока лампочками 3 минуты мигает. Буквально сводки с фронта: - его рейд прожил 3 месяца. И это второй сбой за это год. А по началу он тоже так очень надменно с меня смеялся.... (IMG:style_emoticons/default/smile.gif) Нет, ну можно ещё дорогу переходить и по сторонам не смотреть. Будут виноваты водители и строители дорог, но только не клиент. Если б твой клиент получил уведомлялку о деградации, то он бы просто заранее поменял винт и никаких проблем у него не было бы вообще. Максимум - один ребут для уверенности. А есть ещё и spare disks. По скорости fsck - он одинаково будет чекать одинаковый объём. raid там или нет - ему пофиг. Кстати, может raid даже будет чекать быстрее (не уверен). По скорости загрузки - на полминуты больше, это максимум. По деньгам - да, наша raid-конфигурация стоит в 1.5 раза больше, чем такой же сервер без raid. В основном - за счёт дублирующихся винтов, сам рэйд не сильно дорогой. Но ИМХО - воно того стоит. Сообщение отредактировал DCUA - 23.11.2011, 12:21 |
iwant2beahoster |
23.11.2011, 12:48
Сообщение
#56
|
Группа: Старые пользователи Сообщений: 65 Регистрация: 22.10.2011 Из: Прага Пользователь №: 16,176 Репутация: 177 |
Ключевое слово было скорость проверки. Не говоря уже просто о времени загрузки простого бюджетного сервер и супер пупер бреднда с мега рейдом - оно тока лампочками 3 минуты мигает. Буквально сводки с фронта: - его рейд прожил 3 месяца. И это второй сбой за это год. А по началу он тоже так очень надменно с меня смеялся.... Максим, я думаю не стоит здесь ломать копья по поводу того использовать RAID или нет. Здесь все люди взрослые и убеждения у каждого свои. Каждый вибирает своё. Но ответьте себе станете ли вы КРИЧАТЬ своим пользователям со страниц своего сайта, что по своим убеждениям принципиально не используете аппаратных RAID? Использование аппаратных RAID в высоконадёжных высоконагруженных системах это норма. Не стоит это отрицать. |
iwant2beahoster |
23.11.2011, 13:02
Сообщение
#57
|
Группа: Старые пользователи Сообщений: 65 Регистрация: 22.10.2011 Из: Прага Пользователь №: 16,176 Репутация: 177 |
А какое бы Вы решение посоветовали для удалённого хранилища именно под нагруженную систему? Просто бэкапить, это понятно. А вот когда хранилище будет очень активно юзаться, тут встаёт вопрос о производительности и скорости. Если не сильно экономить тогда * Медный 10G ethernet (если только две ноды то соединить портом в порт без свитча) * Infiniband x2 x4 (не нашёл информацию работает ли он без свитча порт в порт) Если же побрыкаться подешевле то Nx1Gbps Теоретическая пропускная способность 1Gbps примерно 125 мегабайт в секунду. Реальная скажем в 2 раза ниже. Используйте 2 канала и вы заткнёте производительность SATA диска. |
Maxim Volgin |
23.11.2011, 13:13
Сообщение
#58
|
Группа: Старые пользователи Сообщений: 448 Регистрация: 26.02.2008 Пользователь №: 7,018 Репутация: 198 |
Максим, я думаю не стоит здесь ломать копья по поводу того использовать RAID или нет. Здесь все люди взрослые и убеждения у каждого свои. Каждый вибирает своё. Но ответьте себе станете ли вы КРИЧАТЬ своим пользователям со страниц своего сайта, что по своим убеждениям принципиально не используете аппаратных RAID? Использование аппаратных RAID в высоконадёжных высоконагруженных системах это норма. Не стоит это отрицать. Феерическая глупость это таки да норма для индустрии. На сайте у меня нет не слова пр о рейды. |
iwant2beahoster |
24.11.2011, 03:21
Сообщение
#59
|
Группа: Старые пользователи Сообщений: 65 Регистрация: 22.10.2011 Из: Прага Пользователь №: 16,176 Репутация: 177 |
Феерическая глупость это таки да норма для индустрии. На сайте у меня нет не слова пр о рейды. Я догадался, что про рейды вы молчите. Но я имел ввиду написать большими буквами на сайте о "феерической глупости" всех тех кто считает что HW RAID это норма. Написать том что вы принципиальный противник аппаратного RAID. Это привлечёт покупателей. |
Maxim Volgin |
24.11.2011, 11:19
Сообщение
#60
|
Группа: Старые пользователи Сообщений: 448 Регистрация: 26.02.2008 Пользователь №: 7,018 Репутация: 198 |
Если я начну описывать все идиотизмы хостинг провайдеров то мне сайта не хватит и у сайта немного другая цель.
|
Текстовая версия | Сейчас: 28.05.2024, 16:39 |