Хостинг-провайдер, который стал производителем серверов хранения.
Добрый день, мы - региональный хостинг-оператор. Один из ресурсов, расположенный на нашей площадке, начал стремительно развиваться и требовал быстрой отдачи большого объема тяжелого контента. Перед нами была поставлена задача организовать ёмкое, надежное и производительное хранилище данных. Большинство людей, которым нужно хранить данные покупают довольно дорогие, но проверенные решения. Но в нашем случае такой подход был не приемлем. Нам требовалось хранилище за разумные деньги. Изучив рынок, мы поняли - готового решения, нужного нам, на рынке нет.
В октябре 2009 г. мы начали работу над созданием собственной платформы. Примерно в это же время на хабрахабре появился перевод статьи американского хостера, также столкнувшегося с нашей проблемой и нашедшего ей оригинальное решение. Их конструкция собственного сервера хранения нам показалась интересной. Но она не решала ряд наших задач: платформа была не достаточно надежна, не было возможности управлять удаленно, основывалась на устаревших комплектующих, имела размеры не всегда совместимые с использующимися у нас стойками. Эти задачи были поставлены перед нашими инженерами и были ими успешно решены.
После того, как все чертежи и теоретические расчеты были готовы, мы начали поиски поставщиков и подрядчиков. Налаживали связи с производителями из “поднебесной”. Пробовали различные производства, оценивали их цены и качество. Но нужно признаться, было сложно работать с российскими подрядчиками. У каждого из них были свои преимущества и недостатки. Кто-то не выдерживал сроки, кто-то не следил за качеством.
После продолжительных поисков нам удалось найти подрядчиков сочетающих хорошую цену с нормальным качеством. Несмотря на это, приходится брать под личный контроль все стадии производства, дабы обеспечить качество и надежность.
После кропотливой работы, в декабре 2009 был готов первый прототип нашего сервера хранения. Конфигурация получилась следующей: 90Тб (45 дисков SATA по 2Тб) уместились в 4U. Стоимость хранения 1 Тб данных в готовом к работе сервере составляет 4500 рублей! Что гораздо дешевле предложений на рынке!
После перехода с серверов HP Proliant на серверы собственного изготовления мы получили заметный прирост производительности. Благодаря возможности построения отказоустойчивого RAID массива из большого количества недорогих жестких дисков SATA 7200rpm, нам удалось увеличить предельное значение количества операций ввода-вывода в секунду (IOPS), при этом сохранить низкую стоимость и надежность.
Использование более дорогих жестких дисков 15000 rpm SAS и значительно более дорогих накопителей SSD не позволяет решить задачу хранения большого объема данных. Для 15000 rpm SAS, на сегодняшний день, максимальный объем накопителя - 600Gb, для SSD - 256Gb. Стоимость таких накопителей в среднем в 10-20 раз выше накопителей использующихся в нашем решении. И увеличение стоимости в данном случае не гарантирует увеличения производительности.
Слепой переход с SATA 7200 rpm на SAS 15000 rpm или SSD не позволяет решить все проблемы с быстродействием. Отдельно взятый 15000rpm диск или SSD накопитель, безусловно, обладает более привлекательными скоростными характеристиками, чем отдельно взятый 7200rpm SATA диск. Но если прирост в скорости линейных чтения/записи и скорости доступа заметен, то в случае нагрузки большим количеством операций ввода-вывода, прирост в максимальном значении IOPS не столь ощутим.
Ощутимый прирост в данной задаче дает наращивание количества накопителей в RAID массиве. И наше решение, обладающее максимальной плотностью хранения данных, идеально подошло для этой задачи.
Ранее для отдачи тяжелого контента на стабильно высокой скорости, суммарной полосой до 1.5 гигабит/с нам приходилось использовать схему с балансировкой нагрузки между 2мя серверами HP Proliant DL185. Сейчас с этим справляется один сервер нашего производства. Судя по показателям iostat - это далеко не предел. Ждем когда спрос на контент, отдаваемый сервером превысит 2 гигабита/с, на этот случай готовим конфигурацию сервера с 4-портовым гигабитным и 10-гигабитным сетевыми адаптерами.
Тем временем, нашим продуктом начали интересоваться партнеры. Заметив, что потребность в хранении больших объемов есть не только у нас, мы решили выпускать серверы под собственным брендом – а почему нет?! Это и послужило началом бренда BitBlaze. Сейчас мы активно работаем над новыми модификациями платформы, ищем новые ниши, привлекаем новых партнеров. Ваши комментарии и идеи могут сыграть значительную роль в разработке!
Backblaze это региональный хостинг-оператор?
Или вы к ним отношения не имеете?
Интересно какой там random seek?
Как то уж очень поделка коллег похожа на вашу.
Но за R&D - респект.
Внутри то что воткнули?
Мое имхо, по сравнению со фабричным стораджем все одно много не сэкономишь. Разве что место в стойке, с другой стороны у фабричного стораджа типа такого
http://www.promise.com/storage/raid_series.aspx?region=en-global&m=17&rsn1=1&rsn3=25 и хотсвопы, и два блока питания и отлаженное по.
В вашем сравнении серверные платформы и сервера сравниваются со стораджем. Сравните с любым стораджем, разница будет куда меньше.
Хотсвоп за стенкой и обслуживание сверху удобно до 1 метра, дальше с стремянкой лазить. Время - тоже деньги.
Про выигрыш между вашем стораджем и фабричным стораджем (Не сервером) набитым теми же сата дисками - не верю.
Ну и то что ваша замечательная железка обслуживатеся в одном городе, под замену вы ничего дать не сможете, сколько у вас там проживут вентиляторы и как расчитан обдув дисков - на страх и риск покупателя.
Я это не куплю, я куплю фабричный сторадж.
Я, кстати, не вижу какими вы именно дисками набивали. Десктопным баракудами и спинпойнтами? В режиме 24*7 под нагрузкой они дохнут за год. Плавали знаем. Сравнение у вас там явно предвзятое.
Сейчас подсчитаю на фабричном сторадже - самому интересно.
Гугл, гуглом, но у меня другая статистика
Итак, берем фабричную полку
Maxtronic JBOD SS-8892E
Набиваем 24 2 гиговых винта Hitachi Deskstar 7K2000
Выходит 286 602 за 48 G , жалко что JBOD и без мозгов.
С мозгами и RAID выходит тысяч на 80 дороже.
Ну, да, рублей за гигабайт вы всех бъете наповал.
Хотя, у супермикры скоро выйдет вот эта железка http://www.supermicro.com/products/chassis/4U/847/SC847E16-RJBOD1.cfm
надо еще нарыть раид контроллер на , осталось найти, куда включить 45 дисков
А вы и ССС с РСТ получили?
С другой стороны, зачем CCC стораджу? Он уж точно не будет работать руотером. Декларация, разве что. У меня есть пара знакомых фирм, дающих декларацию на любую железку, купленную у них. Прямо вот клеют две наклейки и дают бумажки.
На сервер, кстати, ну не 80. Хватит и 40. Я кстати, посчитал с нынешним супермикровским корпусом на 36 дисков, 3 САС конроллерами, одним ксеоном 5506 и 6 гигами памяти.
Case Supermicro CSE-847A-R1400LPB 69899 р
CPU Intel Xeon E5506 9235 руб
SuperMicro X8DTL-I-O 13228 руб. 80 коп
Kingston <KVR1333D3D8R9S/2G> 3 штуки 7956руб
36 винтов Hitachi Deskstar 7K2000 171849 руб.
Intel RAID Controller SRCSASPH16I 3 штуки 64116 руб.
336283 руб за 72 тера JBOD, ну или 30 теров 60 раида.
И все молчат... Как до стоимости доходит эти "да я сам на коленке сделаю" уходят куда-то
Наше решение (стоимости единицы хранения ) дешевле даже супермикры. А производительность остается на уровне
А чего высчитывать стоимость 1ТВ из 90ТВ без рейда?
Считать, имо, надо более актуальные конфигурации. 90ТВ постоянно нужных (на ленту не вынести и на несколько нод тоже), но совершенно не важных (не жалко потерять, рейда нет, бэкапить такое.. увольте) таки мало у кого есть.
Ваше решение, крашенное зеленой краской и производимоее у батарей центрального отопления выглядит куда наколенне Без обид.
Как можно меньше долларов за терабайт - это весьма специфичная задача. Нам то эти железки и эксплуатировать.
А есть такая штука, как совокупная стоимость владения. Удобство эксплуатации, надежность и известность производителя в нее тоже включены.
,
Я может упустил технические подробности? RAM, Raid контролер, процессор, материнка?
Или это DAS?
У Sun выходит 1000 долларов за терабайт, но при этом я уверен, что они приедут и на месте все заменят в случае проблем с железом или жестким диском (да да, харды у них стоят так много из-за !гарантий!), однако можно поставить дешевую Sun платформу и к ней купить DAS, и стоимость упадет, потому что, опять же меньше гарантий давать производителю.
Хотя я и не являюсь Вашим даже потенциальным клиентом, т.к. нахожусь за рубежом, но уверен у коллег в России возникнут вопросы следующего характера:
- IOPS, сколько, гарантии, Random write/read, seek time?
- Что с поддержкой? При покупке подобного оборудования, которое будет довольно часто выходить из строя (т.к. мало-обкатано и на дешевых хардах) люди все-таки рассчитывают на какую-то поддержку этого оборудования
- Начинание интересно, но как там с дизайном? Как долго проверяли систему на стрессоустойчивость? Все ли в порядке с "землей"? Какой метал использовали?
- И ярко зеленый цвет, как в свое время заборы красили единственной военной краской... ну Вы даете... )
Вы видимо начитались историй от гугла, про их дешевые дц с УГ-серверами и решили собрать такое вот существо?
Учтите у Google по-мимо этого есть дц и с серверами HP, Sun, Dell, IBM. И на УГ-серверы они кеш кладут в основном, чтобы если что выкинуть и заменить.
К тому же, где гугл, а где крупные/малые компании и хостеры.
У первых есть куча денег для простого взять/поставить/сдохло/выкинуть, т.к. платформа отлажена и работает распределено, и при этом им не дадут звездюлей клиенты, если допустим кеш-сервер сдохнет.
У вторых права на ошибку нет.
Просто разумно помыслите, такое можно взять только под бекапы или оптом под распределенную систему ИМХО.
Не знаю насчет HP.
Sun при platinum поддержке обеспечивает 2х часовое реше