RAID контроллеры, непонятки со скоростью в разных схемах RAID Опции

[iwant2beahoster]

Получил доступ к тестовому стенду. И провел тесты.

3WARE 9650SE 16-port SATA 3Gb/s 256MB RAID 0,1,5,6,10,50,Single Disk, JBOD, PCI-E x8, KIT

[root@template ~]# tw_cli /c2 show all
/c2 Driver Version = 2.26.02.013
/c2 Model = 9650SE-16ML
/c2 Available Memory = 224MB
/c2 Firmware Version = FE9X 4.10.00.007
/c2 Bios Version = BE9X 4.08.00.002
/c2 Boot Loader Version = BL9X 3.08.00.001
/c2 Serial Number = L322626A8510931
/c2 PCB Version = Rev 032
/c2 PCHIP Version = 2.00
/c2 ACHIP Version = 1.90
/c2 Number of Ports = 16
/c2 Number of Drives = 16
/c2 Number of Units = 1
/c2 Total Optimal Units = 1
/c2 Not Optimal Units = 0
/c2 JBOD Export Policy = off
/c2 Disk Spinup Policy = 1
/c2 Spinup Stagger Time Policy (sec) = 1
/c2 Auto-Carving Policy = off
/c2 Auto-Carving Size = 2048 GB
/c2 Auto-Rebuild Policy = on
/c2 Rebuild Mode = Adaptive
/c2 Rebuild Rate = 1
/c2 Verify Mode = Adaptive
/c2 Verify Rate = 1
/c2 Controller Bus Type = PCIe
/c2 Controller Bus Width = 8 lanes
/c2 Controller Bus Speed = 2.5 Gbps/lane

К нему 16 штук 1TB SATA дисков Seagate ST31000340NS

Подключил 8 дисков к контроллеру и собрал их в RAID5

[root@template ~]# ./tw_cli /c4/u0 show
Unit UnitType Status %RCmpl %V/I/M Port Stripe Size(GB)
------------------------------------------------------------------------
u0 RAID-5 OK - - - 256K 6519.19
u0-0 DISK OK - - p0 - 931.312
u0-1 DISK OK - - p1 - 931.312
u0-2 DISK OK - - p2 - 931.312
u0-3 DISK OK - - p3 - 931.312
u0-4 DISK OK - - p4 - 931.312
u0-5 DISK OK - - p5 - 931.312
u0-6 DISK OK - - p6 - 931.312
u0-7 DISK OK - - p7 - 931.312
u0/v0 Volume - - - - - 6519.19

И проверил скорость чтения:

[root@template ~]# dd if=/dev/sdc of=/dev/null bs=8M iflag=direct
9530+0 records in
9529+0 records out
79935045632 bytes (80 GB) copied, 116.869 s, 684 MB/s
57059+0 records in
57058+0 records out
478637195264 bytes (479 GB) copied, 698.931 s, 685 MB/s
423807+0 records in
423806+0 records out
3555142402048 bytes (3.6 TB) copied, 5287.42 s, 672 MB/s

Собрал на том же стенде RAID10 с 16-тью дисками.

[root@template ~]# tw_cli /c2/u0 show
Unit UnitType Status %RCmpl %V/I/M Port Stripe Size(GB)
------------------------------------------------------------------------
u0 RAID-10 OK - - - 256K 7450.5
u0-0 RAID-1 OK - - - - -
u0-0-0 DISK OK - - p15 - 931.312
u0-0-1 DISK OK - - p11 - 931.312
u0-1 RAID-1 OK - - - - -
u0-1-0 DISK OK - - p7 - 931.312
u0-1-1 DISK OK - - p3 - 931.312
u0-2 RAID-1 OK - - - - -
u0-2-0 DISK OK - - p14 - 931.312
u0-2-1 DISK OK - - p10 - 931.312
u0-3 RAID-1 OK - - - - -
u0-3-0 DISK OK - - p6 - 931.312
u0-3-1 DISK OK - - p2 - 931.312
u0-4 RAID-1 OK - - - - -
u0-4-0 DISK OK - - p13 - 931.312
u0-4-1 DISK OK - - p9 - 931.312
u0-5 RAID-1 OK - - - - -
u0-5-0 DISK OK - - p5 - 931.312
u0-5-1 DISK OK - - p1 - 931.312
u0-6 RAID-1 OK - - - - -
u0-6-0 DISK OK - - p12 - 931.312
u0-6-1 DISK OK - - p8 - 931.312
u0-7 RAID-1 OK - - - - -
u0-7-0 DISK OK - - p4 - 931.312
u0-7-1 DISK OK - - p0 - 931.312
u0/v0 Volume - - - - - 8
u0/v1 Volume - - - - - 7442.5

Прогнал чтение.

[root@template ~]# dd if=/dev/sdb of=/dev/null bs=8M iflag=direct
469+0 records in
468+0 records out
3925868544 bytes (3.9 GB) copied, 6.84351 s, 574 MB/s
120888+0 records in
120887+0 records out
1014073655296 bytes (1.0 TB) copied, 1756.27 s, 577 MB/s

По моему это явная ерунда...

Пользователи 3ware отзовитесь! Что у вас со скоростью чтения?
Почему 8-ми дисковый RAID5 "делает" 16-ти дисковый RAID10 по чтению?

[iwant2beahoster]

Я провёл более глубокое тестирование на разных количествах потоков (1-256) и разном размере блока (4к-64k)
Результаты говорят, что контроллер 3ware 9650SE-16 + драйвер + Linux действительно даёт просадку производительности. И на одном потоке RAID10x16 на 2-11% медленнее чем RAID5x8. Но если количество потоков больше 64-х RAID5 начинает давать сильное проседание скорости. RAID10 входит в насыщение по скорости где-то на 128 потоках и далее она немножко проседает. Возможно влияние ядра системы на соотношение RAID10 / RAID5 этим нивелировано, тоесть выигрыш RAID10 становится более значимым.

Сравнение было выполнено как по скорости передачи данных так и по количеству операций чтения. Разница одинаковая с точностью до десятой доли процента.

Сравнивалась только скорость чтения. (где RAID10 должен однозначно быть значительно быстрее чем RAID5)

Немного результатов

Код

threads    block size    MB/s (diff %)
1    4k    -6,67
1    8k    -6,78
1    16k    -9,57
1    32k    -9,69
1    64k    -9,73
4    4k    11,02
4    8k    9,13
4    16k    9,80
4    32k    8,18
4    64k    6,40
16    4k    30,35
16    8k    30,39
16    16k    29,08
16    32k    26,27
16    64k    22,94
32    4k    38,11
32    8k    37,46
32    16k    35,41
32    32k    34,84
32    64k    28,19
64    4k    43,54
64    8k    42,86
64    16k    41,97
64    32k    40,22
64    64k    36,04
128    4k    55,89
128    8k    54,56
128    16k    54,66
128    32k    51,74
128    64k    49,71
256    4k    81,58
256    8k    80,39
256    16k    81,38
256    32k    79,00
256    64k    79,52

Безусловно для хостера один единственный поток это вырожденная ситуация, которая в жизни малореальна, но совсем непонятно откуда такой провал.

Хочется провести тестирование других контроллеров чтобы прояснить картинку.

PS.
Кстати, в качестве идеи администратору форума: составить систему и инструментарий тестирования и собрать результаты тестирования разного оборудования в отрасли. Было бы очень полезно.
Как и система трэкинга отказов оборудования.

Сообщение отредактировал iwant2beahoster - 23.11.2011, 12:36