Хостинг - Обзор: эпицентр русскоязычного хостинга

Здравствуйте, гость ( Вход | Регистрация )

> RAID контроллеры, непонятки со скоростью в разных схемах RAID
iwant2beahoster
сообщение 21.11.2011, 16:14
Сообщение #1





Группа: Старые пользователи
Сообщений: 65
Регистрация: 22.10.2011
Из: Прага
Пользователь №: 16,176


Репутация: 138


Получил доступ к тестовому стенду. И провел тесты.

3WARE 9650SE 16-port SATA 3Gb/s 256MB RAID 0,1,5,6,10,50,Single Disk, JBOD, PCI-E x8, KIT

Цитата
[root@template ~]# tw_cli /c2 show all
/c2 Driver Version = 2.26.02.013
/c2 Model = 9650SE-16ML
/c2 Available Memory = 224MB
/c2 Firmware Version = FE9X 4.10.00.007
/c2 Bios Version = BE9X 4.08.00.002
/c2 Boot Loader Version = BL9X 3.08.00.001
/c2 Serial Number = L322626A8510931
/c2 PCB Version = Rev 032
/c2 PCHIP Version = 2.00
/c2 ACHIP Version = 1.90
/c2 Number of Ports = 16
/c2 Number of Drives = 16
/c2 Number of Units = 1
/c2 Total Optimal Units = 1
/c2 Not Optimal Units = 0
/c2 JBOD Export Policy = off
/c2 Disk Spinup Policy = 1
/c2 Spinup Stagger Time Policy (sec) = 1
/c2 Auto-Carving Policy = off
/c2 Auto-Carving Size = 2048 GB
/c2 Auto-Rebuild Policy = on
/c2 Rebuild Mode = Adaptive
/c2 Rebuild Rate = 1
/c2 Verify Mode = Adaptive
/c2 Verify Rate = 1
/c2 Controller Bus Type = PCIe
/c2 Controller Bus Width = 8 lanes
/c2 Controller Bus Speed = 2.5 Gbps/lane


К нему 16 штук 1TB SATA дисков Seagate ST31000340NS

Подключил 8 дисков к контроллеру и собрал их в RAID5
Цитата
[root@template ~]# ./tw_cli /c4/u0 show
Unit UnitType Status %RCmpl %V/I/M Port Stripe Size(GB)
------------------------------------------------------------------------
u0 RAID-5 OK - - - 256K 6519.19
u0-0 DISK OK - - p0 - 931.312
u0-1 DISK OK - - p1 - 931.312
u0-2 DISK OK - - p2 - 931.312
u0-3 DISK OK - - p3 - 931.312
u0-4 DISK OK - - p4 - 931.312
u0-5 DISK OK - - p5 - 931.312
u0-6 DISK OK - - p6 - 931.312
u0-7 DISK OK - - p7 - 931.312
u0/v0 Volume - - - - - 6519.19

И проверил скорость чтения:
Цитата
[root@template ~]# dd if=/dev/sdc of=/dev/null bs=8M iflag=direct
9530+0 records in
9529+0 records out
79935045632 bytes (80 GB) copied, 116.869 s, 684 MB/s
57059+0 records in
57058+0 records out
478637195264 bytes (479 GB) copied, 698.931 s, 685 MB/s
423807+0 records in
423806+0 records out
3555142402048 bytes (3.6 TB) copied, 5287.42 s, 672 MB/s

Собрал на том же стенде RAID10 с 16-тью дисками.
Цитата
[root@template ~]# tw_cli /c2/u0 show
Unit UnitType Status %RCmpl %V/I/M Port Stripe Size(GB)
------------------------------------------------------------------------
u0 RAID-10 OK - - - 256K 7450.5
u0-0 RAID-1 OK - - - - -
u0-0-0 DISK OK - - p15 - 931.312
u0-0-1 DISK OK - - p11 - 931.312
u0-1 RAID-1 OK - - - - -
u0-1-0 DISK OK - - p7 - 931.312
u0-1-1 DISK OK - - p3 - 931.312
u0-2 RAID-1 OK - - - - -
u0-2-0 DISK OK - - p14 - 931.312
u0-2-1 DISK OK - - p10 - 931.312
u0-3 RAID-1 OK - - - - -
u0-3-0 DISK OK - - p6 - 931.312
u0-3-1 DISK OK - - p2 - 931.312
u0-4 RAID-1 OK - - - - -
u0-4-0 DISK OK - - p13 - 931.312
u0-4-1 DISK OK - - p9 - 931.312
u0-5 RAID-1 OK - - - - -
u0-5-0 DISK OK - - p5 - 931.312
u0-5-1 DISK OK - - p1 - 931.312
u0-6 RAID-1 OK - - - - -
u0-6-0 DISK OK - - p12 - 931.312
u0-6-1 DISK OK - - p8 - 931.312
u0-7 RAID-1 OK - - - - -
u0-7-0 DISK OK - - p4 - 931.312
u0-7-1 DISK OK - - p0 - 931.312
u0/v0 Volume - - - - - 8
u0/v1 Volume - - - - - 7442.5

Прогнал чтение.
Цитата
[root@template ~]# dd if=/dev/sdb of=/dev/null bs=8M iflag=direct
469+0 records in
468+0 records out
3925868544 bytes (3.9 GB) copied, 6.84351 s, 574 MB/s
120888+0 records in
120887+0 records out
1014073655296 bytes (1.0 TB) copied, 1756.27 s, 577 MB/s


По моему это явная ерунда...

Пользователи 3ware отзовитесь! Что у вас со скоростью чтения?
Почему 8-ми дисковый RAID5 "делает" 16-ти дисковый RAID10 по чтению?
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
 
Reply to this topicStart new topic
Ответов(1 - 6)
Ivan
сообщение 21.11.2011, 22:33
Сообщение #2


Отдыхаю


Группа: Старые пользователи
Сообщений: 3,533
Регистрация: 02.08.2002
Из: ЗАО "Рувеб"
Пользователь №: 35


Репутация: 222


О. Ничего не скажу про рейды
А можете порадовать - прогнать тест на random read - write блоками по 4 к?
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
kpv
сообщение 21.11.2011, 23:19
Сообщение #3


DELEGATED, VERIFIED


Группа: Старые пользователи
Сообщений: 913
Регистрация: 10.03.2005
Из: Рувеба
Пользователь №: 1,129


Репутация: 198


Цитата(iwant2beahoster @ 21.11.2011, 17:14) *

256MB

1. Данные упреждающего чтения некуда складывать, имхо.
2. Контроллер читает данные с двух дисков только в зеркальной паре.
Здесь картинки
http://www.compress.ru/article.aspx?id=22071
Цитата

Для массива RAID 10, так же как и для всех остальных рассмотренных массивов, характерно падение скорости последовательного чтения и записи при определенных размерах блоков данных при любом количестве дисков в массиве.


И это, обычно, редкоиспользуемая операция, которую надо заоптимизировать вусмерть. Большинству интересно рандомное чтение и запись. Опять же моё мнение.

Сообщение отредактировал kpv - 21.11.2011, 23:27
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
kpv
сообщение 21.11.2011, 23:53
Сообщение #4


DELEGATED, VERIFIED


Группа: Старые пользователи
Сообщений: 913
Регистрация: 10.03.2005
Из: Рувеба
Пользователь №: 1,129


Репутация: 198


И если посмотреть здесь
http://www.fcenter.ru/online.shtml?article...re/hdd/23393#07
То сразу видно, что не комильфо уважаемым администраторам меряться длиной. А хорошую производительность и плодовитость можно получить при множестве мелких (и даже параллельных) и рандомных запросах.

Сообщение отредактировал kpv - 21.11.2011, 23:54
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
iwant2beahoster
сообщение 22.11.2011, 00:09
Сообщение #5





Группа: Старые пользователи
Сообщений: 65
Регистрация: 22.10.2011
Из: Прага
Пользователь №: 16,176


Репутация: 138


Ivan, верно ли я вас понял?
RAID10 - 16 дисков.
Результаты тестов урезаны, оставлены первая и последняя запись и среднее.
Цитата
[root@template ~]# disktest -K32 -ID -PT -h3 -T30 -B4k -r /dev/sdb
| 2011/11/21-20:24:24 | START | 21868 | v1.4.2 | /dev/sdb | Start args: -K32 -ID -PT -h3 -T30 -B4k -r (-N 15608053761) (-c) (-p R) (-D 100:0) (-t 0:2m) (-o 0)
| 2011/11/21-20:24:24 | INFO | 21868 | v1.4.2 | /dev/sdb | Starting pass
| 2011/11/21-20:24:27 | STAT | 21868 | v1.4.2 | /dev/sdb | Heartbeat read throughput: 5016234.7B/s (4.78MB/s), IOPS 1224.7/s.
| 2011/11/21-20:24:54 | STAT | 21868 | v1.4.2 | /dev/sdb | Heartbeat read throughput: 5135018.7B/s (4.90MB/s), IOPS 1253.7/s.
| 2011/11/21-20:24:54 | STAT | 21868 | v1.4.2 | /dev/sdb | Total read throughput: 5108940.8B/s (4.87MB/s), IOPS 1247.3/s.
| 2011/11/21-20:24:54 | END | 21868 | v1.4.2 | /dev/sdb | Test Done (Passed)
[root@template ~]# disktest -K64 -ID -PT -h3 -T30 -B4k -r /dev/sdb
| 2011/11/21-20:25:08 | START | 21911 | v1.4.2 | /dev/sdb | Start args: -K64 -ID -PT -h3 -T30 -B4k -r (-N 15608053761) (-c) (-p R) (-D 100:0) (-t 0:2m) (-o 0)
| 2011/11/21-20:25:08 | INFO | 21911 | v1.4.2 | /dev/sdb | Starting pass
| 2011/11/21-20:25:11 | STAT | 21911 | v1.4.2 | /dev/sdb | Heartbeat read throughput: 6340608.0B/s (6.05MB/s), IOPS 1548.0/s.
| 2011/11/21-20:25:38 | STAT | 21911 | v1.4.2 | /dev/sdb | Heartbeat read throughput: 6470314.7B/s (6.17MB/s), IOPS 1579.7/s.
| 2011/11/21-20:25:39 | STAT | 21911 | v1.4.2 | /dev/sdb | Total read throughput: 6390033.1B/s (6.09MB/s), IOPS 1560.1/s.
| 2011/11/21-20:25:39 | END | 21911 | v1.4.2 | /dev/sdb | Test Done (Passed)
[root@template ~]# disktest -K128 -ID -PT -h3 -T30 -B4k -r /dev/sdb
| 2011/11/21-20:25:50 | START | 21986 | v1.4.2 | /dev/sdb | Start args: -K128 -ID -PT -h3 -T30 -B4k -r (-N 15608053761) (-c) (-p R) (-D 100:0) (-t 0:2m) (-o 0)
| 2011/11/21-20:25:51 | INFO | 21986 | v1.4.2 | /dev/sdb | Starting pass
| 2011/11/21-20:25:54 | STAT | 21986 | v1.4.2 | /dev/sdb | Heartbeat read throughput: 7609002.7B/s (7.26MB/s), IOPS 1857.7/s.
| 2011/11/21-20:26:21 | STAT | 21986 | v1.4.2 | /dev/sdb | Heartbeat read throughput: 7588522.7B/s (7.24MB/s), IOPS 1852.7/s.
| 2011/11/21-20:26:21 | STAT | 21986 | v1.4.2 | /dev/sdb | Total read throughput: 7600128.0B/s (7.25MB/s), IOPS 1855.5/s.
| 2011/11/21-20:26:21 | END | 21986 | v1.4.2 | /dev/sdb | Test Done (Passed)
[root@template ~]# disktest -K256 -ID -PT -h3 -T30 -B4k -r /dev/sdb
| 2011/11/21-20:26:29 | START | 22122 | v1.4.2 | /dev/sdb | Start args: -K256 -ID -PT -h3 -T30 -B4k -r (-N 15608053761) (-c) (-p R) (-D 100:0) (-t 0:2m) (-o 0)
| 2011/11/21-20:26:30 | INFO | 22122 | v1.4.2 | /dev/sdb | Starting pass
| 2011/11/21-20:26:33 | STAT | 22122 | v1.4.2 | /dev/sdb | Heartbeat read throughput: 7580330.7B/s (7.23MB/s), IOPS 1850.7/s.
| 2011/11/21-20:27:00 | STAT | 22122 | v1.4.2 | /dev/sdb | Heartbeat read throughput: 7544832.0B/s (7.20MB/s), IOPS 1842.0/s.
| 2011/11/21-20:27:00 | STAT | 22122 | v1.4.2 | /dev/sdb | Total read throughput: 7645593.6B/s (7.29MB/s), IOPS 1866.6/s.
| 2011/11/21-20:27:00 | END | 22122 | v1.4.2 | /dev/sdb | Test Done (Passed)


kpv спасибо за ссылку. Удивительно. Но может проблема всё же в 3Ware? Может у LSI, несмотря на то что они сейчас владеют 3ware, или скажем у Areca будут результаты получше?
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
iwant2beahoster
сообщение 23.11.2011, 12:28
Сообщение #6





Группа: Старые пользователи
Сообщений: 65
Регистрация: 22.10.2011
Из: Прага
Пользователь №: 16,176


Репутация: 138


Я провёл более глубокое тестирование на разных количествах потоков (1-256) и разном размере блока (4к-64k)
Результаты говорят, что контроллер 3ware 9650SE-16 + драйвер + Linux действительно даёт просадку производительности. И на одном потоке RAID10x16 на 2-11% медленнее чем RAID5x8. Но если количество потоков больше 64-х RAID5 начинает давать сильное проседание скорости. RAID10 входит в насыщение по скорости где-то на 128 потоках и далее она немножко проседает. Возможно влияние ядра системы на соотношение RAID10 / RAID5 этим нивелировано, тоесть выигрыш RAID10 становится более значимым.

Сравнение было выполнено как по скорости передачи данных так и по количеству операций чтения. Разница одинаковая с точностью до десятой доли процента.

Сравнивалась только скорость чтения. (где RAID10 должен однозначно быть значительно быстрее чем RAID5)

Немного результатов
Код
threads    block size    MB/s (diff %)
1    4k    -6,67
1    8k    -6,78
1    16k    -9,57
1    32k    -9,69
1    64k    -9,73
4    4k    11,02
4    8k    9,13
4    16k    9,80
4    32k    8,18
4    64k    6,40
16    4k    30,35
16    8k    30,39
16    16k    29,08
16    32k    26,27
16    64k    22,94
32    4k    38,11
32    8k    37,46
32    16k    35,41
32    32k    34,84
32    64k    28,19
64    4k    43,54
64    8k    42,86
64    16k    41,97
64    32k    40,22
64    64k    36,04
128    4k    55,89
128    8k    54,56
128    16k    54,66
128    32k    51,74
128    64k    49,71
256    4k    81,58
256    8k    80,39
256    16k    81,38
256    32k    79,00
256    64k    79,52


Безусловно для хостера один единственный поток это вырожденная ситуация, которая в жизни малореальна, но совсем непонятно откуда такой провал.

Хочется провести тестирование других контроллеров чтобы прояснить картинку.

PS.
Кстати, в качестве идеи администратору форума: составить систему и инструментарий тестирования и собрать результаты тестирования разного оборудования в отрасли. Было бы очень полезно.
Как и система трэкинга отказов оборудования.

Сообщение отредактировал iwant2beahoster - 23.11.2011, 12:36
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
iwant2beahoster
сообщение 24.11.2011, 03:43
Сообщение #7





Группа: Старые пользователи
Сообщений: 65
Регистрация: 22.10.2011
Из: Прага
Пользователь №: 16,176


Репутация: 138


Вот графики процентного соотношения производительности RAID10x16 против RAID5x8
Полжительные значения RAID10 выигрывает. Отрицательные - наоборот.
Столбики - скорость потока данных, линии - количество IOP. Они почти линейно связаны поэтому можно было исключить. Но для информативности оставил.

Random с целого диска (RAID10 - 7442G, RAID5 - 6519G)
(IMG:http://i27.fastpic.ru/big/2011/1124/15/db252d35e1bf6962282fd82c525fb215.png)

Random с раздела LV размером 10G - ситуация очень сильно меняется. Непонятно как "распылился" логический раздел по физическим дискам но RAID10 начинает проигрывать до 32 потоков включительно.
(IMG:http://i27.fastpic.ru/big/2011/1124/7f/06af7ffd430a836f6397384078862f7f.png)

И вот он гвоздь программы!
Последовательное чтение из LV 10G
(IMG:http://i27.fastpic.ru/big/2011/1124/ce/fa11a1f82ee5cd49db2819e83c36dece.png)

Завтра нужно на свежую голову переделать тесты снова и перенабить таблицы. Потому как результаты дичайшие.
User is offlineProfile CardPM
Go to the top of the page
+Quote Post

Reply to this topicStart new topic
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0

 



- Текстовая версия Сейчас: 23.11.2017, 19:32
Яндекс.Метрика