Версия для печати темы

Нажмите сюда для просмотра этой темы в обычном формате

Онлайн-форум hostobzor.ru _ Общие вопросы _ Хранение данных, как сделать недорого

Автор: promobit 05.05.2010, 17:56

Хостинг-провайдер, который стал производителем серверов хранения.

Изображение

Добрый день, мы - региональный хостинг-оператор. Один из ресурсов, расположенный на нашей площадке, начал стремительно развиваться и требовал быстрой отдачи большого объема тяжелого контента. Перед нами была поставлена задача организовать ёмкое, надежное и производительное хранилище данных. Большинство людей, которым нужно хранить данные покупают довольно дорогие, но проверенные решения. Но в нашем случае такой подход был не приемлем. Нам требовалось хранилище за разумные деньги. Изучив рынок, мы поняли - готового решения, нужного нам, на рынке нет.

В октябре 2009 г. мы начали работу над созданием собственной платформы. Примерно в это же время на хабрахабре появился перевод статьи американского хостера, также столкнувшегося с нашей проблемой и нашедшего ей оригинальное решение. Их конструкция собственного сервера хранения нам показалась интересной. Но она не решала ряд наших задач: платформа была не достаточно надежна, не было возможности управлять удаленно, основывалась на устаревших комплектующих, имела размеры не всегда совместимые с использующимися у нас стойками. Эти задачи были поставлены перед нашими инженерами и были ими успешно решены.

Изображение

После того, как все чертежи и теоретические расчеты были готовы, мы начали поиски поставщиков и подрядчиков. Налаживали связи с производителями из “поднебесной”. Пробовали различные производства, оценивали их цены и качество. Но нужно признаться, было сложно работать с российскими подрядчиками. У каждого из них были свои преимущества и недостатки. Кто-то не выдерживал сроки, кто-то не следил за качеством.

Изображение

После продолжительных поисков нам удалось найти подрядчиков сочетающих хорошую цену с нормальным качеством. Несмотря на это, приходится брать под личный контроль все стадии производства, дабы обеспечить качество и надежность.

Изображение


После кропотливой работы, в декабре 2009 был готов первый прототип нашего сервера хранения. Конфигурация получилась следующей: 90Тб (45 дисков SATA по 2Тб) уместились в 4U. Стоимость хранения 1 Тб данных в готовом к работе сервере составляет 4500 рублей! Что гораздо дешевле предложений на рынке!

Изображение

После перехода с серверов HP Proliant на серверы собственного изготовления мы получили заметный прирост производительности. Благодаря возможности построения отказоустойчивого RAID массива из большого количества недорогих жестких дисков SATA 7200rpm, нам удалось увеличить предельное значение количества операций ввода-вывода в секунду (IOPS), при этом сохранить низкую стоимость и надежность.

Изображение

Использование более дорогих жестких дисков 15000 rpm SAS и значительно более дорогих накопителей SSD не позволяет решить задачу хранения большого объема данных. Для 15000 rpm SAS, на сегодняшний день, максимальный объем накопителя - 600Gb, для SSD - 256Gb. Стоимость таких накопителей в среднем в 10-20 раз выше накопителей использующихся в нашем решении. И увеличение стоимости в данном случае не гарантирует увеличения производительности.

Слепой переход с SATA 7200 rpm на SAS 15000 rpm или SSD не позволяет решить все проблемы с быстродействием. Отдельно взятый 15000rpm диск или SSD накопитель, безусловно, обладает более привлекательными скоростными характеристиками, чем отдельно взятый 7200rpm SATA диск. Но если прирост в скорости линейных чтения/записи и скорости доступа заметен, то в случае нагрузки большим количеством операций ввода-вывода, прирост в максимальном значении IOPS не столь ощутим.

Ощутимый прирост в данной задаче дает наращивание количества накопителей в RAID массиве. И наше решение, обладающее максимальной плотностью хранения данных, идеально подошло для этой задачи.

Ранее для отдачи тяжелого контента на стабильно высокой скорости, суммарной полосой до 1.5 гигабит/с нам приходилось использовать схему с балансировкой нагрузки между 2мя серверами HP Proliant DL185. Сейчас с этим справляется один сервер нашего производства. Судя по показателям iostat - это далеко не предел. Ждем когда спрос на контент, отдаваемый сервером превысит 2 гигабита/с, на этот случай готовим конфигурацию сервера с 4-портовым гигабитным и 10-гигабитным сетевыми адаптерами.

Тем временем, нашим продуктом начали интересоваться партнеры. Заметив, что потребность в хранении больших объемов есть не только у нас, мы решили выпускать серверы под собственным брендом – а почему нет?! Это и послужило началом бренда BitBlaze. Сейчас мы активно работаем над новыми модификациями платформы, ищем новые ниши, привлекаем новых партнеров. Ваши комментарии и идеи могут сыграть значительную роль в разработке!

Автор: adnull 05.05.2010, 20:12

Backblaze это региональный хостинг-оператор?
Или вы к ним отношения не имеете?

Автор: DCUA 05.05.2010, 20:17

Цитата(promobit @ 05.05.2010, 16:56) *

Стоимость хранения 1 Тб данных в готовом к работе сервере составляет 4500 рублей! Что гораздо дешевле предложений на рынке!


Это уже с учётом стоимости самих дисков ? Или 405 000 стоит только сам коробок ?


Цитата(promobit @ 05.05.2010, 16:56) *

Ваши комментарии и идеи могут сыграть значительную роль в разработке!


Комментарий - девочками не увлекайтесь. Макхост уже увлекался.

Автор: promobit 05.05.2010, 20:28

Цитата(DCUA @ 06.05.2010, 00:17) *

Это уже с учётом стоимости самих дисков ? Или 405 000 стоит только сам коробок ?
Комментарий - девочками не увлекайтесь. Макхост уже увлекался.


Верно, полностью готовый сервер и 45 дисков SATA 2Тб (всего 90Тб) + 1 системный на 500Гб Bitblaze C45 T2 всё вместе стоит 324 580 руб

Автор: eSupport.org.ua 05.05.2010, 20:30

Интересно какой там random seek?

Автор: promobit 05.05.2010, 20:31

Цитата(adnull @ 06.05.2010, 00:12) *

Backblaze это региональный хостинг-оператор?
Или вы к ним отношения не имеете?


Backblaze это коллеги из америки, а Bitblaze - это производитель серверов, проект компании промобит

Автор: adnull 05.05.2010, 21:24

Как то уж очень поделка коллег похожа на вашу.
Но за R&D - респект.

Автор: Ivan 05.05.2010, 21:26

Внутри то что воткнули?
Мое имхо, по сравнению со фабричным стораджем все одно много не сэкономишь. Разве что место в стойке, с другой стороны у фабричного стораджа типа такого
http://www.promise.com/storage/raid_series.aspx?region=en-global&m=17&rsn1=1&rsn3=25 и хотсвопы, и два блока питания и отлаженное по.

Автор: promobit 05.05.2010, 21:51

Цитата(Ivan @ 06.05.2010, 01:26) *

Внутри то что воткнули?
Мое имхо, по сравнению со фабричным стораджем все одно много не сэкономишь. Разве что место в стойке, с другой стороны у фабричного стораджа типа такого
http://www.promise.com/storage/raid_series.aspx?region=en-global&m=17&rsn1=1&rsn3=25 и хотсвопы, и два блока питания и отлаженное по.


Как раз экономим прилично и не только место в стойке, а кратно в стоимости 1Тб, сохраняя производительность на уровне. Вот графики, для сравнения http://bitblaze.ru/concurents.html

P.S. Диски у нас хотсвапные (вертикального расположения)

Автор: Ivan 05.05.2010, 22:05

В вашем сравнении серверные платформы и сервера сравниваются со стораджем. Сравните с любым стораджем, разница будет куда меньше.

Хотсвоп за стенкой и обслуживание сверху удобно до 1 метра, дальше с стремянкой лазить. Время - тоже деньги.

Про выигрыш между вашем стораджем и фабричным стораджем (Не сервером) набитым теми же сата дисками - не верю.

Ну и то что ваша замечательная железка обслуживатеся в одном городе, под замену вы ничего дать не сможете, сколько у вас там проживут вентиляторы и как расчитан обдув дисков - на страх и риск покупателя.

Я это не куплю, я куплю фабричный сторадж.

Я, кстати, не вижу какими вы именно дисками набивали. Десктопным баракудами и спинпойнтами? В режиме 24*7 под нагрузкой они дохнут за год. Плавали знаем. Сравнение у вас там явно предвзятое.

Сейчас подсчитаю на фабричном сторадже - самому интересно.

Автор: promobit 05.05.2010, 22:31

Цитата(Ivan @ 06.05.2010, 02:05) *

В вашем сравнении серверные платформы и сервера сравниваются со стораджем. Сравните с любым стораджем, разница будет куда меньше.

Хотсвоп за стенкой и обслуживание сверху удобно до 1 метра, дальше с стремянкой лазить. Время - тоже деньги.

Про выигрыш между вашем стораджем и фабричным стораджем (Не сервером) набитым теми же сата дисками - не верю.

Ну и то что ваша замечательная железка обслуживатеся в одном городе, под замену вы ничего дать не сможете, сколько у вас там проживут вентиляторы и как расчитан обдув дисков - на страх и риск покупателя.

Я это не куплю, я куплю фабричный сторадж.

Я, кстати, не вижу какими вы именно дисками набивали. Десктопным баракудами и спинпойнтами? В режиме 24*7 под нагрузкой они дохнут за год. Плавали знаем. Сравнение у вас там явно предвзятое.

Сейчас подсчитаю на фабричном сторадже - самому интересно.


По поводу обслуживания "сверху" - кому как, куда ставить на высоту 1м или 2 метра решать вам

Про выигрыш в производительности всё просто - в 5,6 рейдах производительность растет пропорционально количеству дисков (в посте об этом я писал)

Про обслуживание - вам решать брать зип или нет

По поводу охлаждения - оно избыточно. Время безотказной работы, 60000 ч, подшипник качения, 120x120x38, 3100 об/мин

По поводу дисков у Googl'а есть статистика на этот счет http://habrahabr.ru/blogs/hardware/13560/

Автор: Ivan 05.05.2010, 22:46

Гугл, гуглом, но у меня другая статистика
Итак, берем фабричную полку
Maxtronic JBOD SS-8892E
Набиваем 24 2 гиговых винта Hitachi Deskstar 7K2000
Выходит 286 602 за 48 G , жалко что JBOD и без мозгов.

С мозгами и RAID выходит тысяч на 80 дороже.

Ну, да, рублей за гигабайт вы всех бъете наповал.

Хотя, у супермикры скоро выйдет вот эта железка http://www.supermicro.com/products/chassis/4U/847/SC847E16-RJBOD1.cfm
надо еще нарыть раид контроллер на , осталось найти, куда включить 45 дисков smile.gif

Автор: Admin 06.05.2010, 07:27

Цитата(promobit @ 05.05.2010, 18:56) *

Хостинг-провайдер, который стал производителем серверов хранения.

Снимаю шляпу. Просто за то, что не сидите ровно, а что-то делаете.

Если сможете вырваться (и уже наэкономили на билет smile.gif, буду рад встретиться на http://ho20.ru/offline/. Предоставлю возможность выступить с 5-минутным сообщением по этому делу в "Хостинг-Джем-сейшен". Заявки на участие будут приниматься еще неделю. Кстати, там встретитесь и с Вашим оппонентом, Иваном, что позволит выдвинуть в кулуарах и более весомые аргументы в защиту своей позиции smile.gif.

Автор: promobit 06.05.2010, 07:41

Цитата(Ivan @ 06.05.2010, 02:46) *

Гугл, гуглом, но у меня другая статистика
Итак, берем фабричную полку
Maxtronic JBOD SS-8892E
Набиваем 24 2 гиговых винта Hitachi Deskstar 7K2000
Выходит 286 602 за 48 G , жалко что JBOD и без мозгов.

С мозгами и RAID выходит тысяч на 80 дороже.

Ну, да, рублей за гигабайт вы всех бъете наповал.

Хотя, у супермикры скоро выйдет вот эта железка http://www.supermicro.com/products/chassis/4U/847/SC847E16-RJBOD1.cfm
надо еще нарыть раид контроллер на , осталось найти, куда включить 45 дисков smile.gif

Все верно. 286 т.р. И на сервер 80 т.р. (это минимум) итого 366 р. Чем это решение лучше? Единственный плюс - hotplug БП. Какие плюсы от его фабричности? Сервис-центров от Maxtronic в каждом городе нет, это не HP, сертификатов ССС на него нет. То же самое можно сказать о "полке" Supermicro.

Наше решение с 24 винтами стоит 200 т.р. Практически в 2 раза дешевле. Можно добавить 34 т.р. и купить 2 наших сервера и зарезервировать систему на уровне серверов. Например при помощи DRBD. ( http://ru.wikipedia.org/wiki/DRBD ). Уровень отказоустойчивости будет значительно выше. При этом бонусом идет дополнительная масштабируемость - к имеющимся 24 винтам без особых затрат сможете добавить еще 21.

2Admin Петр, большое спасибо за приглашение, постараемся вырваться! smile.gif

Автор: Ivan 06.05.2010, 08:20

А вы и ССС с РСТ получили?

С другой стороны, зачем CCC стораджу? Он уж точно не будет работать руотером. Декларация, разве что. У меня есть пара знакомых фирм, дающих декларацию на любую железку, купленную у них. Прямо вот клеют две наклейки и дают бумажки.

На сервер, кстати, ну не 80. Хватит и 40. Я кстати, посчитал с нынешним супермикровским корпусом на 36 дисков, 3 САС конроллерами, одним ксеоном 5506 и 6 гигами памяти.

Case Supermicro CSE-847A-R1400LPB 69899 р
CPU Intel Xeon E5506 9235 руб
SuperMicro X8DTL-I-O 13228 руб. 80 коп
Kingston <KVR1333D3D8R9S/2G> 3 штуки 7956руб
36 винтов Hitachi Deskstar 7K2000 171849 руб.
Intel RAID Controller SRCSASPH16I 3 штуки 64116 руб.


336283 руб за 72 тера JBOD, ну или 30 теров 60 раида.





Автор: promobit 06.05.2010, 09:25

Цитата(Ivan @ 06.05.2010, 12:20) *

А вы и ССС с РСТ получили?

С другой стороны, зачем CCC стораджу? Он уж точно не будет работать руотером. Декларация, разве что. У меня есть пара знакомых фирм, дающих декларацию на любую железку, купленную у них. Прямо вот клеют две наклейки и дают бумажки.

На сервер, кстати, ну не 80. Хватит и 40. Я кстати, посчитал с нынешним супермикровским корпусом на 36 дисков, 3 САС конроллерами, одним ксеоном 5506 и 6 гигами памяти.

Case Supermicro CSE-847A-R1400LPB 69899 р
CPU Intel Xeon E5506 9235 руб
SuperMicro X8DTL-I-O 13228 руб. 80 коп
Kingston <KVR1333D3D8R9S/2G> 3 штуки 7956руб
36 винтов Hitachi Deskstar 7K2000 171849 руб.
Intel RAID Controller SRCSASPH16I 3 штуки 64116 руб.
336283 руб за 72 тера JBOD, ну или 30 теров 60 раида.

В нашем случае:
конфигурация с 2мя системными винтами и 30-ю 2Тб винтами под контент - 227 т.р.
конфигурация с 2мя системными винтами и 45-ю 2Тб винтами под контент - 324 т.р.

по сравнению с Supermicro у этих конфигурацией есть дополнительные плюсы:
- есть "iLO" - порт управления, через который работает KVM over HTTP, Media over HTTP. Материнка SuperMicro X8DTL-I-O такого не умеет.

Автор: Ivan 06.05.2010, 09:32

Цитата(promobit @ 06.05.2010, 10:25) *

В нашем случае:
конфигурация с 2мя системными винтами и 30-ю 2Тб винтами под контент - 227 т.р.
конфигурация с 2мя системными винтами и 45-ю 2Тб винтами под контент - 324 т.р.

по сравнению с Supermicro у этих конфигурацией есть дополнительные плюсы:
- есть "iLO" - порт управления, через который работает KVM over HTTP, Media over HTTP. Материнка SuperMicro X8DTL-I-O такого не умеет.



Умеет
Вот с такой железкой http://www.nix.ru/autocatalog/motherboards_supermicro/SuperMicro_AOCSIMLPB_IPMI_Card_44328.html

Хотя, можно начать экономить и воткнуть интеловскую материнку. Там SOL бесплатно smile.gif

Автор: promobit 06.05.2010, 12:49

Цитата(Ivan @ 06.05.2010, 13:32) *

Умеет
Вот с такой железкой http://www.nix.ru/autocatalog/motherboards_supermicro/SuperMicro_AOCSIMLPB_IPMI_Card_44328.html

Хотя, можно начать экономить и воткнуть интеловскую материнку. Там SOL бесплатно smile.gif


Можно.. Но давайте посчитаем стоимость 1Тб и сравним с супермикро

Автор: promobit 06.05.2010, 16:45

И все молчат... Как до стоимости доходит эти "да я сам на коленке сделаю" уходят куда-то
Наше решение (стоимости единицы хранения ) дешевле даже супермикры. А производительность остается на уровне

Автор: different 06.05.2010, 17:14

А чего высчитывать стоимость 1ТВ из 90ТВ без рейда?

Считать, имо, надо более актуальные конфигурации. 90ТВ постоянно нужных (на ленту не вынести и на несколько нод тоже), но совершенно не важных (не жалко потерять, рейда нет, бэкапить такое.. увольте) таки мало у кого есть.

Автор: DCUA 06.05.2010, 17:56

Цитата(promobit @ 06.05.2010, 15:45) *

И все молчат...


Не смутило, что интерес был только у представителя ДЦ ? Хостеров с 90Тб своего бакапа ведь не бывает.
Те, что нормальные - у них далеко не те объёмы.
А те, что безлимитные - они бакапы просто не делают smile.gif

Автор: Ivan 06.05.2010, 18:00

Ваше решение, крашенное зеленой краской и производимоее у батарей центрального отопления выглядит куда наколенне smile.gif Без обид.

Как можно меньше долларов за терабайт - это весьма специфичная задача. Нам то эти железки и эксплуатировать.
А есть такая штука, как совокупная стоимость владения. Удобство эксплуатации, надежность и известность производителя в нее тоже включены.
,

Автор: ENELIS 06.05.2010, 18:28

Я может упустил технические подробности? RAM, Raid контролер, процессор, материнка?
Или это DAS?
У Sun выходит 1000 долларов за терабайт, но при этом я уверен, что они приедут и на месте все заменят в случае проблем с железом или жестким диском (да да, харды у них стоят так много из-за !гарантий!), однако можно поставить дешевую Sun платформу и к ней купить DAS, и стоимость упадет, потому что, опять же меньше гарантий давать производителю.
Хотя я и не являюсь Вашим даже потенциальным клиентом, т.к. нахожусь за рубежом, но уверен у коллег в России возникнут вопросы следующего характера:
- IOPS, сколько, гарантии, Random write/read, seek time?
- Что с поддержкой? При покупке подобного оборудования, которое будет довольно часто выходить из строя (т.к. мало-обкатано и на дешевых хардах) люди все-таки рассчитывают на какую-то поддержку этого оборудования
- Начинание интересно, но как там с дизайном? Как долго проверяли систему на стрессоустойчивость? Все ли в порядке с "землей"? Какой метал использовали?
- И ярко зеленый цвет, как в свое время заборы красили единственной военной краской... ну Вы даете... )

Вы видимо начитались историй от гугла, про их дешевые дц с УГ-серверами и решили собрать такое вот существо?
Учтите у Google по-мимо этого есть дц и с серверами HP, Sun, Dell, IBM. И на УГ-серверы они кеш кладут в основном, чтобы если что выкинуть и заменить.
К тому же, где гугл, а где крупные/малые компании и хостеры.
У первых есть куча денег для простого взять/поставить/сдохло/выкинуть, т.к. платформа отлажена и работает распределено, и при этом им не дадут звездюлей клиенты, если допустим кеш-сервер сдохнет.
У вторых права на ошибку нет.

Просто разумно помыслите, такое можно взять только под бекапы или оптом под распределенную систему ИМХО.

Автор: promobit 06.05.2010, 20:12

Цитата(ENELIS @ 06.05.2010, 22:28) *

Просто разумно помыслите, такое можно взять только под бекапы или оптом под распределенную систему ИМХО.

Конкретно по пунктам отвечу завтра.

Вы верно подметили - распределенная система. С нашими ценниками построение распределенных систем становится доступно "простым смертным".
Вы можете приобрести 2 сервера и сделать из них кластер высокой доступности при помощи DRBD. http://ru.wikipedia.org/wiki/DRBD
Т.е. RAID1 из 2х серверов! И это будет стоить в 4 раза дешевле, чем Sun.

Кстати, насчет "приедут и на месте все заменят в случае проблем с железом или жестким диском" - по личному опыту, работает это только в пределах МКАД. В Омске сервис-центр HP менял винт на сервер Proliant DL360G5, на который куплен CarePack, 2 месяца! Слава богу сервер был не критичен и не использовался в это время. И стоит ли переплачивать за такую поддержку?

RAID на уровне серверов + ЗиП в данной задаче обеспечил бы непрерывную доступность. При более низкой цене.

Наш партнер-интегратор "Ваша поддержка" поставляет такие решения своим клиентам. http://www.yoursupport.ru/high_avail_cluster.html
Они были одними из первых, кто заинтересовался нашим серверами и сейчас реализуют проект для одного из своих заказчиков на наших серверах.

Автор: ENELIS 06.05.2010, 22:33

Не знаю насчет HP.
Sun при platinum поддержке обеспечивает 2х часовое решение проблем (по-крайней мере в Европе), при золотой - 24 в любой день недели, серебряная в течение 1 рабочего дня. Стоимость 300, 700, 1200 долларов соответственно (по-крайней мере так нам выдавалось в сборщике, сейчас правда в связи с слиянием с Oracle это из сборщика убрали, но думаю может я не там смотрел.

По поводу тех. начинки Вы так и не сказали ничего.

А я зачитаю коллегам тут, как Вы сравниваете обезъяну с самолетом:

Sun Fire X4540 Server, 2 x 6-Core AMD Opteron Model 2435, 2.6 GHz Processors, 32 GB (16 x 2 GB DIMMs) Memory, 48 x 2 TB 7200 rpm 3.5-Inch SATA Disks, 4 x 10/100/1000 (хотя я у них такого конфига не нашел, только 64 и 128 гб памяти) и конечно же КАК МИНИМУМ 2x Power Supply с горячей заменой (http://www.oracle.com/us/products/servers-storage/servers/x86/034682.pdf)
ПРОТИВ
Intel Xeon X3440 2.53 ГГц, DDR-III DIMM 8Gb ECC Reg, 45 x 2Tb SATA 7200rpm (неизвестно какого качества)

Просто как бы не было, что Raid 1 из 2 Ваших серверов (из-за постоянной поддержки, замены вышедшего из строя оборудования и жестких дисков) по ROI обойдется хуже чем 2 Sun сервера с качественным redundant наполнением, японскими конденсаторами, дублированными или даже триплированными соединениями, гарантированной проверкой систем и 3мя power supply.

Ну и напрашивается вопрос, что Вы противопоставите Sun iLom, кривой Intel RMM3?

К тому же, у всех сановских серверов в наличие возможность поставить для загрузки системы compact flash card, и поставить сановскую карточку Accelerator для 1000000 IOPS (круто да?) на 96 гб.
То есть, для того же ZFS SUN для меня уже намного предпочтительнее.

Автор: Admin 06.05.2010, 22:53

Полстраны до сих пор ездит на жигулях и счастливы. Мне кажется, полемика в этой теме из той же серии. Да, Мерс лучше, но дороже.

Не так вопрос ставите smile.gif. Корректнее не: "что лучше? решение от Sun с HP или от ПромоБит", а "что лучше? ничего или решение от ПромоБит".

Автор: different 06.05.2010, 23:05

Цитата(ENELIS @ 07.05.2010, 01:33) *

То есть, для того же ZFS SUN для меня уже намного предпочтительнее.


ВНЕЗАПНО!
А для ZFS есть другие вменяемые варианты?)

Автор: ENELIS 06.05.2010, 23:10

Уважаемый Петр, когда речь идет об 11к долларов или ничего, в данном случае 11к долларов лучше потратить на несколько качественных машин с поддержкой, пусть и меньшего объема данных.
Нельзя сравнивать обезьяну с ракетой
Мне кажется если у Вас есть 11к долларов лучше накопить и взять мерс smile.gif, а иначе будете 'ездить на жигулях всю жизнь, радоваться и ремонтировать их вместо того, чтобы заколачивать бабки'.

Цитата(different @ 07.05.2010, 00:05) *

ВНЕЗАПНО!
А для ZFS есть другие вменяемые варианты?)

FreeBSD 8 и ZFS хоть в Вашем рутере smile.gif

Автор: Admin 06.05.2010, 23:15

Цитата(ENELIS @ 07.05.2010, 00:07) *

Мне кажется если у Вас есть 11к долларов лучше подкопить и взять мерс smile.gif.

Так я же, Андрей, ровно о том же. Если у меня нет 11к, то на мерс я копить и начинать не буду. А ездить уже сейчас хочется smile.gif. Разве это чудо цвета Диденковского счастья нельзя взять в минимальной конфигурации и по мере богатения, добавлять туда бюджетные hd? Или я что-то не так понял, и имеет смысл брать только с полным фаршем за несколько дешевле брендовых решений?

Автор: ENELIS 06.05.2010, 23:18

Надо узнать что за материнская плата, как соединение выполнено (они же про тех сторону отмалчиваются), а то добавите, его каратнет или статика, и тютю Ваши денюжки (если мамку ударит, то ударит харды, на восстановление потратите по 2к баксов на хард в лучшем случае (если вообще восстановится), вот Вам и Sun)...
Под бэкап бы такое кстати взял, что у Вас с доставкой за рубеж/таможней?

Автор: WebhostGIANT-Rob 07.05.2010, 09:50

Цитата(Admin @ 06.05.2010, 23:15) *

Так я же, Андрей, ровно о том же. Если у меня нет 11к, то на мерс я копить и начинать не буду. А ездить уже сейчас хочется smile.gif. Разве это чудо цвета Диденковского счастья нельзя взять в минимальной конфигурации и по мере богатения, добавлять туда бюджетные hd? Или я что-то не так понял, и имеет смысл брать только с полным фаршем за несколько дешевле брендовых решений?



Вот вот. Ключевое слово здесь богатения. Pay as you grow как говорят американцы. Я дкмаю это будет наиболее правильно с затратной точки зрения.

Автор: promobit 07.05.2010, 09:59

Цитата(ENELIS @ 07.05.2010, 03:18) *

Надо узнать что за материнская плата, как соединение выполнено (они же про тех сторону отмалчиваются), а то добавите, его каратнет или статика, и тютю Ваши денюжки (если мамку ударит, то ударит харды, на восстановление потратите по 2к баксов на хард в лучшем случае (если вообще восстановится), вот Вам и Sun)...
Под бэкап бы такое кстати взял, что у Вас с доставкой за рубеж/таможней?


Мы не отмалчиваемся про тех. сторону На нашем сайте указаны характеристики. http://bitblaze.ru/configuration.html Про надежность: мы используем раид6. 3 раид 6 по 15 винтов в каждом. Как вы знаете если даже сразу 2 винта выйдет из строя то рейд всё равно будет функционировать. По поводу SAS: у нас за год Seagate ES из пяти два накрылось (в HP). Зачем переплачивать? Да они быстрее по отдельности, но если объединить в RAID5-6 то производительность растет пропорционально количеству дисков. И SATA выгоднее SAS (при использовании в рейде) Контроллеры на SI 3132 , Si 3726 SATA Port Multipliers
По поводу статики - чем сан лучше? Его молния не берет? :-)
По доставке - доставляем, куда надо?

Цитата(WebhostGIANT-Rob @ 07.05.2010, 13:50) *

Вот вот. Ключевое слово здесь богатения. Pay as you grow как говорят американцы. Я дкмаю это будет наиболее правильно с затратной точки зрения.


Pay as you grow - Цена готового к работе сервера Bitblaze C45 - 84 780 руб! (осталось вставить винты, остально всё присутствует полностью)

Автор: ENELIS 07.05.2010, 11:18

По секрету скажу, от клиентов вообще много жалоб на HP.

По поводу статики - нет у них просто защита продумана хорошо, все дублировано на всякий случай, плюс поставляют дестатизаторные наклейки на руки.
Реально ли заказать у Вас платформу на 45 хардов без процессора, жестких дисков и памяти?
Доставка в Венгрию - Будапешт.
Рельсы для установки в стойку обязательны!
Хотелось бы потестировать, если будет выгодно выглядеть, интересует цена на blueprint и лицензионные отчисления за ноу-хау.
И уберите сравнение с Sun с веб-сайта smile.gif ну не этично выглядит это, с Супермикрами сравнивайте smile.gif.

Автор: zlodeykin 07.05.2010, 11:25

Цитата(ENELIS @ 07.05.2010, 00:18) *
Надо узнать что за материнская плата, как соединение выполнено (они же про тех сторону отмалчиваются), а то добавите, его каратнет или статика, и тютю Ваши денюжки (если мамку ударит, то ударит харды, на восстановление потратите по 2к баксов на хард в лучшем случае (если вообще восстановится), вот Вам и Sun)...
Под бэкап бы такое кстати взял, что у Вас с доставкой за рубеж/таможней?


А самому собрать ?

Автор: promobit 07.05.2010, 11:47

Цитата(zlodeykin @ 07.05.2010, 15:25) *

А самому собрать ?


Что значит "самому собрать"? Можно конкретнее? Мы можем продать и без материнки, проца, памяти, винтов

Цитата(ENELIS @ 07.05.2010, 15:18) *

По секрету скажу, от клиентов вообще много жалоб на HP.

По поводу статики - нет у них просто защита продумана хорошо, все дублировано на всякий случай, плюс поставляют дестатизаторные наклейки на руки.
Реально ли заказать у Вас платформу на 45 хардов без процессора, жестких дисков и памяти?
Доставка в Венгрию - Будапешт.
Рельсы для установки в стойку обязательны!
Хотелось бы потестировать, если будет выгодно выглядеть, интересует цена на blueprint и лицензионные отчисления за ноу-хау.
И уберите сравнение с Sun с веб-сайта smile.gif ну не этично выглядит это, с Супермикрами сравнивайте smile.gif.


Да, реально. Рельсы входят в комплект.

Автор: ENELIS 07.05.2010, 11:51

Расценки?
И вопрос в догонку, зачем 1,5 квтный блок питания?
В смысле почему не сделать 2x3х 700 W?

Автор: promobit 07.05.2010, 12:22

Цитата(ENELIS @ 07.05.2010, 15:18) *

По секрету скажу, от клиентов вообще много жалоб на HP.

По поводу статики - нет у них просто защита продумана хорошо, все дублировано на всякий случай, плюс поставляют дестатизаторные наклейки на руки.
Реально ли заказать у Вас платформу на 45 хардов без процессора, жестких дисков и памяти?
Доставка в Венгрию - Будапешт.
Рельсы для установки в стойку обязательны!
Хотелось бы потестировать, если будет выгодно выглядеть, интересует цена на blueprint и лицензионные отчисления за ноу-хау.
И уберите сравнение с Sun с веб-сайта smile.gif ну не этично выглядит это, с Супермикрами сравнивайте smile.gif.


- корпус,
- БП 1500W,
- кабельная разводка,
- 6 вентиляторов,
- 9 бекплейнов-умножителей Sil3726 1 к 5 HDD,
- sata кабели,
- комплект для монтажа в стойку,
- 5 контроллеров Sil3132
- материнская плата
59485 рублей

По доставке примерно 25 кг Отправка 3-4 недели с момента оплаты

Автор: ENELIS 07.05.2010, 12:26

С доставкой сколько?
Например DHL,UPS,FedEx? (желательно второе)

Автор: promobit 07.05.2010, 13:40

Цитата(ENELIS @ 07.05.2010, 16:26) *

С доставкой сколько?
Например DHL,UPS,FedEx? (желательно второе)


Доставка через UPS будет стоить примерно 12-15 т.руб. Доставка через 3 дня после отправления. Точнуая стоимость доставки будет известна при взвешивании и упаковке. Оплата при помощи VISA MasterCard или webmoney.

Автор: promobit 10.05.2010, 12:46

По россии доставка гораздо дешевле, естественно

Автор: Valmon 16.05.2010, 15:41

Я честно говоря, не представляю куда такое можно поставить, ладно бы это был JBOD, типо как у нас, EXP3000, в двухконтроллерной конфигурации, можно сделать действительно, избыточное решение.
Вы хотя-бы сказали что там за экспандеры.

Автор: Valmon 16.05.2010, 21:09

Взял бы данный девайс, по стоимости корпуса(вот только с хопсвапными бп), и бекплеин. Давно ищу, что-то дешевле IBM EXP3000

Автор: Ivan 16.05.2010, 21:26

дешевле с 12 винтами в 2U с двумя бп

http://www.intel.com/products/server/systems/SR2612UR/SR2612UR-overview.htm

Автор: Valmon 16.05.2010, 21:57

Цитата(Ivan @ 16.05.2010, 22:26) *

дешевле с 12 винтами в 2U с двумя бп

http://www.intel.com/products/server/systems/SR2612UR/SR2612UR-overview.htm

Брали мы такие платформы, где-то в отписывался уже, стоит что-то порядка 70К, но нет дублированных цепей питания, как в EXP3000, да и экспандер один, к тому же в итоге стоит столько же, что и тот же EXP3000

Автор: Valmon 16.05.2010, 22:18

Без обид ребят, но посмеялся от души biggrin.gif
Сперва я думал что Sil3726 это LSI логика, но вбив в гугл, был немного поражен.
И вы хотите чтобы кто-то на такой логике хранил 90Тб?
Я уже было подумал что вы свой дизайн бекплейна нарисовали и заказали, на нормальной логике.
Честно, ребят, это не лучше чем купить какой нить санолоджи в количестве 10 штук, выйдет столько же по деньгам.

Автор: promobit 24.05.2010, 12:32

Цитата(Valmon @ 17.05.2010, 02:18) *

Без обид ребят, но посмеялся от души biggrin.gif
Сперва я думал что Sil3726 это LSI логика, но вбив в гугл, был немного поражен.
И вы хотите чтобы кто-то на такой логике хранил 90Тб?
Я уже было подумал что вы свой дизайн бекплейна нарисовали и заказали, на нормальной логике.
Честно, ребят, это не лучше чем купить какой нить санолоджи в количестве 10 штук, выйдет столько же по деньгам.


Кстати, а почему бы и нет, чем не нравится софтовый рейд, он кстати используется и у сана в его 48-и винтовой конфигурации. А по деньгам у нас дешевле выйдет. Давайте проверим

Автор: promobit 16.08.2011, 07:52

Изображение

Проект продолжает свое развитие.

Теперь системы с резервируемыми бп. устранены мелкие недачеты, увеличено количество HDD ...

Сервер хранения данных BitBlaze обладает высокой плотностью: 45 HDD – 3,5” + 6 HDD – 2,5”. При этом сервера BitBlaze отличает невысокая цена - 282 500 рублей за сервер с 135ТБ дискового массива. Области применения: Систем резервного копирования, системы видеонаблюдения, стриминга цифрового контента, сервера баз данных, NAS, iSCSI и других задач.

Сайтик тот же http://bitblaze.ru/

Любителям аппаратных рейдов: на прошлой неделе сталкнулись с ситуацией из рейда 6го после ошибки админа вышло 4 HDD. По айло на один из дисков массива поставил Openfiller, само собой система пометила его как неисправный ... После этого через несколько дней с интервалом в 6 часов на 3х HDD выпали бед блоки, и диски опять были помечаны как неисправные.... после этого были танцы с бубнами ... но в течении несколько дней вся инфа около 12 Тб была востановлена.

Автор: promobit 29.08.2011, 12:21

забыл указать что цена указана с HDD. Просто вышимаете из коробки и вставляете в стоечку smile.gif laugh.gif

Автор: Drug 29.08.2011, 16:40

Цитата(promobit @ 07.05.2010, 13:22) *

- корпус,
- БП 1500W,
- кабельная разводка,
- 6 вентиляторов,
- 9 бекплейнов-умножителей Sil3726 1 к 5 HDD,
- sata кабели,
- комплект для монтажа в стойку,
- 5 контроллеров Sil3132
- материнская плата
59485 рублей

По доставке примерно 25 кг Отправка 3-4 недели с момента оплаты

Case Supermicro CSE-847E16-RJBOD1 - (Black) 4U, 45x(24 front+21 rear), 1xExpander sup.SAS-2, 2x1400W
Case Supermicro CSE-847E26-RJBOD1 - (Black) 4U, 45x(24 front+21 rear), 2xExpander sup.SAS-2, 2x1400W

В рублях около 68400 и 77 700
Получаем корпус на 45 дисков.

Плюсы данного решения
1) Как ни как отработанное решение и заводское изготовление.
2) Два блока питания
3) Блоки питания можно менять по горячему
4) Для замены хардов не нужно выдвигать сервер из стойки (по своему опыту знаю не всегда такое возможно так чтобы по горячему да ещё и выдвигать)
5) Можно поставить разные материнские платы и разные рейд контроллеры на свой вкус и цвет
6) Об корпуса супермикры ещё ни разу не резал пальцы, об ваш их порежешь?
7) Всё есть на складе в Москве.
8) Вся начинка корпуса БП, вентиляторы, мамка и так далее можно поменять со временем и в случае выхода из строя и в случае просто апгрейда.
9) Если руки не из попы можно как минимум 2 2.5'' дюймовых диска в такой корпус засунуть сбоку от блоков питания.
10) Если объем массива не так критичен как скорость у супермикры есть корпуса на 72 харда по 2.5 дюйма, там можно и SSD и SAS и SATA комбинировать и получить и объем и скорость. Особенно учитывая что новые железные рейды умеют SSD использовать как кеширующие диски.

Какие минусы я вижу в вашем решении (на вскидку)
1) Отсутствует возможность апгрейда в чего-либо отличное от того что вы предлагаете
2) Ваша железка не проверенна временем
3) Вертикальная загрузка хардов не всегда удобна
4) Обдув винтов в корпусе (как мне кажется) сделан не на основе анализа потоков воздуха в корпусе, а просто по ощущениям - дуем с этого края до этого края корпуса и точка
5) Железо - мамка, проц, память, контроллер вы ставите такие что я такое даже самым дешевым нашим клиентам не покупаю - это к тому что не всегда для рейд полки достаточно одного 4 ядерного проца.
6) Ваше железо например через 3-6 лет никому не продашь как БУ, зато супермикру легко так как можно обновить мамку и получается вполне новое железо.

Плюс в вашем железе - да дешевле выходит на 10-30 тысяч рублей если прикинуть в корпус супермикры мамку проц и память.

Но извините эта цена с расчетом на 3 года нивелируется, а вот надежность системы ещё как!

P.S. У вас хороший продукт, для своей цены для своего крайне специфического клиента.
P.S.S. Но тема на перспективу довольно-таки спорна.

Автор: promobit 16.12.2011, 05:23

Цитата(Drug @ 29.08.2011, 20:40) *

Case Supermicro CSE-847E16-RJBOD1 - (Black) 4U, 45x(24 front+21 rear), 1xExpander sup.SAS-2, 2x1400W
Case Supermicro CSE-847E26-RJBOD1 - (Black) 4U, 45x(24 front+21 rear), 2xExpander sup.SAS-2, 2x1400W

В рублях около 68400 и 77 700
Получаем корпус на 45 дисков.

Плюсы данного решения
1) Как ни как отработанное решение и заводское изготовление.
2) Два блока питания
3) Блоки питания можно менять по горячему
4) Для замены хардов не нужно выдвигать сервер из стойки (по своему опыту знаю не всегда такое возможно так чтобы по горячему да ещё и выдвигать)
5) Можно поставить разные материнские платы и разные рейд контроллеры на свой вкус и цвет
6) Об корпуса супермикры ещё ни разу не резал пальцы, об ваш их порежешь?
7) Всё есть на складе в Москве.
8) Вся начинка корпуса БП, вентиляторы, мамка и так далее можно поменять со временем и в случае выхода из строя и в случае просто апгрейда.
9) Если руки не из попы можно как минимум 2 2.5'' дюймовых диска в такой корпус засунуть сбоку от блоков питания.
10) Если объем массива не так критичен как скорость у супермикры есть корпуса на 72 харда по 2.5 дюйма, там можно и SSD и SAS и SATA комбинировать и получить и объем и скорость. Особенно учитывая что новые железные рейды умеют SSD использовать как кеширующие диски.

Какие минусы я вижу в вашем решении (на вскидку)
1) Отсутствует возможность апгрейда в чего-либо отличное от того что вы предлагаете
2) Ваша железка не проверенна временем
3) Вертикальная загрузка хардов не всегда удобна
4) Обдув винтов в корпусе (как мне кажется) сделан не на основе анализа потоков воздуха в корпусе, а просто по ощущениям - дуем с этого края до этого края корпуса и точка
5) Железо - мамка, проц, память, контроллер вы ставите такие что я такое даже самым дешевым нашим клиентам не покупаю - это к тому что не всегда для рейд полки достаточно одного 4 ядерного проца.
6) Ваше железо например через 3-6 лет никому не продашь как БУ, зато супермикру легко так как можно обновить мамку и получается вполне новое железо.

Плюс в вашем железе - да дешевле выходит на 10-30 тысяч рублей если прикинуть в корпус супермикры мамку проц и память.

Но извините эта цена с расчетом на 3 года нивелируется, а вот надежность системы ещё как!

P.S. У вас хороший продукт, для своей цены для своего крайне специфического клиента.
P.S.S. Но тема на перспективу довольно-таки спорна.



Да замечательно, но в данную конфигурацию помимо материнки проца памяти обязательно нужно поставить 2 рейд контроллера и ценник уже будет ... далеко 2,5-3к$

Так же проводим тестирование 60 винтовой конфигурации.

P.S. Да диски не так удобно доставать, нужно немного выдвинуть сервер из стойки и достать винт, но останавливать систему не нужно!

Автор: Lolth 27.12.2011, 16:37

А интересно будет почитать отзывы ваших клиентов. Есть они здесь на хостобзоре?

Автор: barigrita 26.06.2012, 00:19

Ну и плюс к тому, что сказал Дима, если тебе дадут доступ в крон на нормальных хостингах это есть, на ненормальных - договариваться, делать надо так:

Файл пхпшный должен начинаться вот так:
CODE

Автор: nikosd 26.06.2012, 13:11


почти по теме:
а кто каким софтом строит HA кластер ISCSI ( замучался выбирать) .

Автор: promobit 20.10.2012, 05:38

Обновление технических характеристик СХД BitBlaze

Системы хранения данных теперь выпускаются в следующих модификациях

на 30 / 45 /60 HDD 3,5"

Процессор Xeon E5 от 2603

2 гигабитных порта и выделенный порт удаленного управления.

оперативки от 8 до 256Гб

Резервируемые блоки питания

стоимость от 82 500 рублей

Автор: promobit 20.10.2012, 06:18

Цитата(nikosd @ 26.06.2012, 17:11) *

почти по теме:
а кто каким софтом строит HA кластер ISCSI ( замучался выбирать) .

в первую очередь на какое железо и какого объема, для каких целей. А потом что лучше знают админы ... и какой бюджет на это.

Русская версия Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)