RAID контроллеры, непонятки со скоростью в разных схемах RAID |
Здравствуйте, гость ( Вход | Регистрация )
RAID контроллеры, непонятки со скоростью в разных схемах RAID |
iwant2beahoster |
21.11.2011, 16:14
Сообщение
#1
|
Группа: Старые пользователи Сообщений: 65 Регистрация: 22.10.2011 Из: Прага Пользователь №: 16,176 Репутация: 179 |
Получил доступ к тестовому стенду. И провел тесты.
3WARE 9650SE 16-port SATA 3Gb/s 256MB RAID 0,1,5,6,10,50,Single Disk, JBOD, PCI-E x8, KIT Цитата [root@template ~]# tw_cli /c2 show all /c2 Driver Version = 2.26.02.013 /c2 Model = 9650SE-16ML /c2 Available Memory = 224MB /c2 Firmware Version = FE9X 4.10.00.007 /c2 Bios Version = BE9X 4.08.00.002 /c2 Boot Loader Version = BL9X 3.08.00.001 /c2 Serial Number = L322626A8510931 /c2 PCB Version = Rev 032 /c2 PCHIP Version = 2.00 /c2 ACHIP Version = 1.90 /c2 Number of Ports = 16 /c2 Number of Drives = 16 /c2 Number of Units = 1 /c2 Total Optimal Units = 1 /c2 Not Optimal Units = 0 /c2 JBOD Export Policy = off /c2 Disk Spinup Policy = 1 /c2 Spinup Stagger Time Policy (sec) = 1 /c2 Auto-Carving Policy = off /c2 Auto-Carving Size = 2048 GB /c2 Auto-Rebuild Policy = on /c2 Rebuild Mode = Adaptive /c2 Rebuild Rate = 1 /c2 Verify Mode = Adaptive /c2 Verify Rate = 1 /c2 Controller Bus Type = PCIe /c2 Controller Bus Width = 8 lanes /c2 Controller Bus Speed = 2.5 Gbps/lane К нему 16 штук 1TB SATA дисков Seagate ST31000340NS Подключил 8 дисков к контроллеру и собрал их в RAID5 Цитата [root@template ~]# ./tw_cli /c4/u0 show Unit UnitType Status %RCmpl %V/I/M Port Stripe Size(GB) ------------------------------------------------------------------------ u0 RAID-5 OK - - - 256K 6519.19 u0-0 DISK OK - - p0 - 931.312 u0-1 DISK OK - - p1 - 931.312 u0-2 DISK OK - - p2 - 931.312 u0-3 DISK OK - - p3 - 931.312 u0-4 DISK OK - - p4 - 931.312 u0-5 DISK OK - - p5 - 931.312 u0-6 DISK OK - - p6 - 931.312 u0-7 DISK OK - - p7 - 931.312 u0/v0 Volume - - - - - 6519.19 И проверил скорость чтения: Цитата [root@template ~]# dd if=/dev/sdc of=/dev/null bs=8M iflag=direct 9530+0 records in 9529+0 records out 79935045632 bytes (80 GB) copied, 116.869 s, 684 MB/s 57059+0 records in 57058+0 records out 478637195264 bytes (479 GB) copied, 698.931 s, 685 MB/s 423807+0 records in 423806+0 records out 3555142402048 bytes (3.6 TB) copied, 5287.42 s, 672 MB/s Собрал на том же стенде RAID10 с 16-тью дисками. Цитата [root@template ~]# tw_cli /c2/u0 show Unit UnitType Status %RCmpl %V/I/M Port Stripe Size(GB) ------------------------------------------------------------------------ u0 RAID-10 OK - - - 256K 7450.5 u0-0 RAID-1 OK - - - - - u0-0-0 DISK OK - - p15 - 931.312 u0-0-1 DISK OK - - p11 - 931.312 u0-1 RAID-1 OK - - - - - u0-1-0 DISK OK - - p7 - 931.312 u0-1-1 DISK OK - - p3 - 931.312 u0-2 RAID-1 OK - - - - - u0-2-0 DISK OK - - p14 - 931.312 u0-2-1 DISK OK - - p10 - 931.312 u0-3 RAID-1 OK - - - - - u0-3-0 DISK OK - - p6 - 931.312 u0-3-1 DISK OK - - p2 - 931.312 u0-4 RAID-1 OK - - - - - u0-4-0 DISK OK - - p13 - 931.312 u0-4-1 DISK OK - - p9 - 931.312 u0-5 RAID-1 OK - - - - - u0-5-0 DISK OK - - p5 - 931.312 u0-5-1 DISK OK - - p1 - 931.312 u0-6 RAID-1 OK - - - - - u0-6-0 DISK OK - - p12 - 931.312 u0-6-1 DISK OK - - p8 - 931.312 u0-7 RAID-1 OK - - - - - u0-7-0 DISK OK - - p4 - 931.312 u0-7-1 DISK OK - - p0 - 931.312 u0/v0 Volume - - - - - 8 u0/v1 Volume - - - - - 7442.5 Прогнал чтение. Цитата [root@template ~]# dd if=/dev/sdb of=/dev/null bs=8M iflag=direct 469+0 records in 468+0 records out 3925868544 bytes (3.9 GB) copied, 6.84351 s, 574 MB/s 120888+0 records in 120887+0 records out 1014073655296 bytes (1.0 TB) copied, 1756.27 s, 577 MB/s По моему это явная ерунда... Пользователи 3ware отзовитесь! Что у вас со скоростью чтения? Почему 8-ми дисковый RAID5 "делает" 16-ти дисковый RAID10 по чтению? |
Ivan |
21.11.2011, 22:33
Сообщение
#2
|
Отдыхаю Группа: Старые пользователи Сообщений: 3,533 Регистрация: 02.08.2002 Из: ЗАО "Рувеб" Пользователь №: 35 Репутация: 263 |
О. Ничего не скажу про рейды
А можете порадовать - прогнать тест на random read - write блоками по 4 к? |
kpv |
21.11.2011, 23:19
Сообщение
#3
|
DELEGATED, VERIFIED Группа: Старые пользователи Сообщений: 913 Регистрация: 10.03.2005 Из: Рувеба Пользователь №: 1,129 Репутация: 240 |
256MB 1. Данные упреждающего чтения некуда складывать, имхо. 2. Контроллер читает данные с двух дисков только в зеркальной паре. Здесь картинки http://www.compress.ru/article.aspx?id=22071 Цитата Для массива RAID 10, так же как и для всех остальных рассмотренных массивов, характерно падение скорости последовательного чтения и записи при определенных размерах блоков данных при любом количестве дисков в массиве. И это, обычно, редкоиспользуемая операция, которую надо заоптимизировать вусмерть. Большинству интересно рандомное чтение и запись. Опять же моё мнение. Сообщение отредактировал kpv - 21.11.2011, 23:27 |
kpv |
21.11.2011, 23:53
Сообщение
#4
|
DELEGATED, VERIFIED Группа: Старые пользователи Сообщений: 913 Регистрация: 10.03.2005 Из: Рувеба Пользователь №: 1,129 Репутация: 240 |
И если посмотреть здесь
http://www.fcenter.ru/online.shtml?article...re/hdd/23393#07 То сразу видно, что не комильфо уважаемым администраторам меряться длиной. А хорошую производительность и плодовитость можно получить при множестве мелких (и даже параллельных) и рандомных запросах. Сообщение отредактировал kpv - 21.11.2011, 23:54 |
iwant2beahoster |
22.11.2011, 00:09
Сообщение
#5
|
Группа: Старые пользователи Сообщений: 65 Регистрация: 22.10.2011 Из: Прага Пользователь №: 16,176 Репутация: 179 |
Ivan, верно ли я вас понял?
RAID10 - 16 дисков. Результаты тестов урезаны, оставлены первая и последняя запись и среднее. Цитата [root@template ~]# disktest -K32 -ID -PT -h3 -T30 -B4k -r /dev/sdb | 2011/11/21-20:24:24 | START | 21868 | v1.4.2 | /dev/sdb | Start args: -K32 -ID -PT -h3 -T30 -B4k -r (-N 15608053761) (-c) (-p R) (-D 100:0) (-t 0:2m) (-o 0) | 2011/11/21-20:24:24 | INFO | 21868 | v1.4.2 | /dev/sdb | Starting pass | 2011/11/21-20:24:27 | STAT | 21868 | v1.4.2 | /dev/sdb | Heartbeat read throughput: 5016234.7B/s (4.78MB/s), IOPS 1224.7/s. | 2011/11/21-20:24:54 | STAT | 21868 | v1.4.2 | /dev/sdb | Heartbeat read throughput: 5135018.7B/s (4.90MB/s), IOPS 1253.7/s. | 2011/11/21-20:24:54 | STAT | 21868 | v1.4.2 | /dev/sdb | Total read throughput: 5108940.8B/s (4.87MB/s), IOPS 1247.3/s. | 2011/11/21-20:24:54 | END | 21868 | v1.4.2 | /dev/sdb | Test Done (Passed) [root@template ~]# disktest -K64 -ID -PT -h3 -T30 -B4k -r /dev/sdb | 2011/11/21-20:25:08 | START | 21911 | v1.4.2 | /dev/sdb | Start args: -K64 -ID -PT -h3 -T30 -B4k -r (-N 15608053761) (-c) (-p R) (-D 100:0) (-t 0:2m) (-o 0) | 2011/11/21-20:25:08 | INFO | 21911 | v1.4.2 | /dev/sdb | Starting pass | 2011/11/21-20:25:11 | STAT | 21911 | v1.4.2 | /dev/sdb | Heartbeat read throughput: 6340608.0B/s (6.05MB/s), IOPS 1548.0/s. | 2011/11/21-20:25:38 | STAT | 21911 | v1.4.2 | /dev/sdb | Heartbeat read throughput: 6470314.7B/s (6.17MB/s), IOPS 1579.7/s. | 2011/11/21-20:25:39 | STAT | 21911 | v1.4.2 | /dev/sdb | Total read throughput: 6390033.1B/s (6.09MB/s), IOPS 1560.1/s. | 2011/11/21-20:25:39 | END | 21911 | v1.4.2 | /dev/sdb | Test Done (Passed) [root@template ~]# disktest -K128 -ID -PT -h3 -T30 -B4k -r /dev/sdb | 2011/11/21-20:25:50 | START | 21986 | v1.4.2 | /dev/sdb | Start args: -K128 -ID -PT -h3 -T30 -B4k -r (-N 15608053761) (-c) (-p R) (-D 100:0) (-t 0:2m) (-o 0) | 2011/11/21-20:25:51 | INFO | 21986 | v1.4.2 | /dev/sdb | Starting pass | 2011/11/21-20:25:54 | STAT | 21986 | v1.4.2 | /dev/sdb | Heartbeat read throughput: 7609002.7B/s (7.26MB/s), IOPS 1857.7/s. | 2011/11/21-20:26:21 | STAT | 21986 | v1.4.2 | /dev/sdb | Heartbeat read throughput: 7588522.7B/s (7.24MB/s), IOPS 1852.7/s. | 2011/11/21-20:26:21 | STAT | 21986 | v1.4.2 | /dev/sdb | Total read throughput: 7600128.0B/s (7.25MB/s), IOPS 1855.5/s. | 2011/11/21-20:26:21 | END | 21986 | v1.4.2 | /dev/sdb | Test Done (Passed) [root@template ~]# disktest -K256 -ID -PT -h3 -T30 -B4k -r /dev/sdb | 2011/11/21-20:26:29 | START | 22122 | v1.4.2 | /dev/sdb | Start args: -K256 -ID -PT -h3 -T30 -B4k -r (-N 15608053761) (-c) (-p R) (-D 100:0) (-t 0:2m) (-o 0) | 2011/11/21-20:26:30 | INFO | 22122 | v1.4.2 | /dev/sdb | Starting pass | 2011/11/21-20:26:33 | STAT | 22122 | v1.4.2 | /dev/sdb | Heartbeat read throughput: 7580330.7B/s (7.23MB/s), IOPS 1850.7/s. | 2011/11/21-20:27:00 | STAT | 22122 | v1.4.2 | /dev/sdb | Heartbeat read throughput: 7544832.0B/s (7.20MB/s), IOPS 1842.0/s. | 2011/11/21-20:27:00 | STAT | 22122 | v1.4.2 | /dev/sdb | Total read throughput: 7645593.6B/s (7.29MB/s), IOPS 1866.6/s. | 2011/11/21-20:27:00 | END | 22122 | v1.4.2 | /dev/sdb | Test Done (Passed) kpv спасибо за ссылку. Удивительно. Но может проблема всё же в 3Ware? Может у LSI, несмотря на то что они сейчас владеют 3ware, или скажем у Areca будут результаты получше? |
iwant2beahoster |
23.11.2011, 12:28
Сообщение
#6
|
Группа: Старые пользователи Сообщений: 65 Регистрация: 22.10.2011 Из: Прага Пользователь №: 16,176 Репутация: 179 |
Я провёл более глубокое тестирование на разных количествах потоков (1-256) и разном размере блока (4к-64k)
Результаты говорят, что контроллер 3ware 9650SE-16 + драйвер + Linux действительно даёт просадку производительности. И на одном потоке RAID10x16 на 2-11% медленнее чем RAID5x8. Но если количество потоков больше 64-х RAID5 начинает давать сильное проседание скорости. RAID10 входит в насыщение по скорости где-то на 128 потоках и далее она немножко проседает. Возможно влияние ядра системы на соотношение RAID10 / RAID5 этим нивелировано, тоесть выигрыш RAID10 становится более значимым. Сравнение было выполнено как по скорости передачи данных так и по количеству операций чтения. Разница одинаковая с точностью до десятой доли процента. Сравнивалась только скорость чтения. (где RAID10 должен однозначно быть значительно быстрее чем RAID5) Немного результатов Код threads block size MB/s (diff %) 1 4k -6,67 1 8k -6,78 1 16k -9,57 1 32k -9,69 1 64k -9,73 4 4k 11,02 4 8k 9,13 4 16k 9,80 4 32k 8,18 4 64k 6,40 16 4k 30,35 16 8k 30,39 16 16k 29,08 16 32k 26,27 16 64k 22,94 32 4k 38,11 32 8k 37,46 32 16k 35,41 32 32k 34,84 32 64k 28,19 64 4k 43,54 64 8k 42,86 64 16k 41,97 64 32k 40,22 64 64k 36,04 128 4k 55,89 128 8k 54,56 128 16k 54,66 128 32k 51,74 128 64k 49,71 256 4k 81,58 256 8k 80,39 256 16k 81,38 256 32k 79,00 256 64k 79,52 Безусловно для хостера один единственный поток это вырожденная ситуация, которая в жизни малореальна, но совсем непонятно откуда такой провал. Хочется провести тестирование других контроллеров чтобы прояснить картинку. PS. Кстати, в качестве идеи администратору форума: составить систему и инструментарий тестирования и собрать результаты тестирования разного оборудования в отрасли. Было бы очень полезно. Как и система трэкинга отказов оборудования. Сообщение отредактировал iwant2beahoster - 23.11.2011, 12:36 |
iwant2beahoster |
24.11.2011, 03:43
Сообщение
#7
|
Группа: Старые пользователи Сообщений: 65 Регистрация: 22.10.2011 Из: Прага Пользователь №: 16,176 Репутация: 179 |
Вот графики процентного соотношения производительности RAID10x16 против RAID5x8
Полжительные значения RAID10 выигрывает. Отрицательные - наоборот. Столбики - скорость потока данных, линии - количество IOP. Они почти линейно связаны поэтому можно было исключить. Но для информативности оставил. Random с целого диска (RAID10 - 7442G, RAID5 - 6519G) (IMG:http://i27.fastpic.ru/big/2011/1124/15/db252d35e1bf6962282fd82c525fb215.png) Random с раздела LV размером 10G - ситуация очень сильно меняется. Непонятно как "распылился" логический раздел по физическим дискам но RAID10 начинает проигрывать до 32 потоков включительно. (IMG:http://i27.fastpic.ru/big/2011/1124/7f/06af7ffd430a836f6397384078862f7f.png) И вот он гвоздь программы! Последовательное чтение из LV 10G (IMG:http://i27.fastpic.ru/big/2011/1124/ce/fa11a1f82ee5cd49db2819e83c36dece.png) Завтра нужно на свежую голову переделать тесты снова и перенабить таблицы. Потому как результаты дичайшие. |
Текстовая версия | Сейчас: 24.09.2024, 09:16 |