Сравнение IDE RAID5-контроллеров второго поколения.

Введение

За те восемь месяцев, прошедшие со времени публикации нашей первой статьи, посвящённой IDE RAID-контроллерам с поддержкой RAID 5, рынок IDE RAID стремительно эволюционировал. Появились внешние дисковые массивы с подключением по сети или SCSI-интерфейсу, увеличилось количество NAS-серверов от различных производителей. Даже компания Intel прониклась доверием к IDE-RAID и выпустила продукты с интегрированными IDE RAID-контроллерами.

В то же время, мы оказались неспособны оперативно реагировать на появление новых контроллеров. Лавина новых моделей винчестеров, которые доехали до России летом-осенью, "накрыла нас с головой" и не давала нам вздохнуть полной грудью перед погружением в мир IDE RAID. Поэтому тестировать контроллеры приходилось урывками, разрываясь между тремя стендами...
И вот, наконец, плод трёхмесячных усилий созрел и упал нам на голову! :)

В этом обзоре мы сравним все доступные на текущий момент IDE RAID5-контроллеры между собой во всех поддерживаемых ими уровнях RAID. Правда, следует сказать, что результаты контроллеров Promise SuperTrak100, Adaptec AAA-UDMA и 3Ware 6400, не переснимались на новых версиях драйверов, которые вышли за прошедшее время, и эти контроллеры приведены в обзоре исключительно как точка отсчёта.

Методика

Тесты проводились на следующей платформе:

материнская плата - SuperMicro 370DLE
процессор - Intel Coppermine 600MHz;
память - 2*128Mb SDRAM Micron PC133 ECC Registered;
винчестер - Fujitsu MPG3102AT;
видеокарта - Matrox Milennium 4Mb;
операционная система - Windows 2000 Pro SP2;

Для создания массивов использовались диски IBM DTLA 307015 с включёнными функциями отложенной записи и упреждающего чтения. Все контроллеры тестировались с размером stripe-блока в 64КБ. Тесты проводились по четыре раза, результаты усреднялись.
Для теста IOMeter использовались следующие паттерны:


Глубина очереди запросов изменялась от 1 до 256 (1,4,16,64,256). Возможно, значение нагрузки в 256 исходящих запросов кому-то покажется чрезмерным для контроллеров этого класса, но нам хотелось проверить скорость их работы в самых жёстких режимах. При таком характере нагрузки влияние качества алгоритмов фирмваре контроллера и его архитектуры выше, чем влияние особенностей реализации дисковой подсистемы. Интересно, а как вообще-то может отличаться скорость обработки контролером запросов при изменении глубины их очереди?


Из приведённой диаграммы видно, что чем больше длина очереди команд, тем более линейной становится зависимость скорости массива от количества винчестеров в нём. А что нам нужно в наше непростое время? - Стабильность! :)
Так как возможная сфера применения контроллеров нам пока неизвестна, мы рассмотрим их поведение во всех паттернах при трёх характерах нагрузки - 1,16 и 256 исходящих запросов.

Впрочем, если у кого-то возникнет желание сравнить контроллеры в остальных режимах, то все результаты приведены в наших предыдущих обзорах:

IDE RAID-контроллеры. Битва титанов.;
IDE RAID контроллер Adaptec 2400a;
IDE RAID-контроллер 3Ware 7810;
Обзор Promise SX6000.

Или просто [MAILTO]id=2019 name=напишите[/MAILTO], и мы вышлем Вам xls-файлы c результатами.

RAID0

Красоты ради, мы включили тесты винчестеров на одном диске в этот раздел. Мы знаем, что такое JBOD и с чем его едят, просто нам не очень хотелось выделять результаты контроллеров в JBOD в отдельное обсуждение. Уж простите нам такое упрощение... :)

Итак, начнём мы сравнение контроллеров с паттерна Fileserver:


При линейном характере нагрузки зависимость скорости контроллеров от количества дисков невелика. Все они демонстрируют вялый рост скорости, но контроллер Adaptec 2400A оказался чуть быстрее остальных.


Смотрите, как преобразились графики при увеличении глубины очереди запросов. Контроллеры "первой волны" - Promise SuperTRAK100 и Adaptec AAA-UDMA отказались увеличивать скорость, а все остальные продемонстрировали почти классическую линейную зависимость. Контроллер Promise SuperTRAK SX6000 потихоньку вышел в лидеры на комбинации из пяти винчестеров, при добавлении ещё одного винчестера неожиданно потерял в скорости! Интересно, с чем это связано?


Результаты, показанные контроллерами 3Ware настолько близки, что их графики "сложились". Чуть медленнее отработал контроллер Adaptec 2400A, контроллер Promise SX6000 отстал от лидеров уже серьёзнее (но при этом на шести винчестерах никакого снижения скорости нет и в помине!), а SuperTrak100 и Adaptec AAA-UDMA решили немного "отдохнуть". :)
В целом, тройка лидеров показала настолько близкие результаты, что нет смысла выделять здесь лидера.
Итак, паттерн WorkStation:


Что же мы видим? - Точно такие же пологие графики, как и в паттерне Fileserver, и снова впереди Adaptec 2400A. Контроллеры 3Ware чуть позади, а самый плохой результат показывает Promise SuperTRAK SX6000, проигрывая даже своему предшественнику, контроллеру SuperTRAK100.


Вновь, наши графики приобретают линейный характер и вновь вперед выходят контроллеры 3Ware. Справедливости ради, стоит сказать, что Adaptec 2400A не так уж и отстал. :)
Отличие от паттерна Fileserver при той же нагрузке состоит в поведении контроллера Promise SX6000. Если в паттерне Fileserver он выглядел очень неплохо, то здесь он отстаёт от контроллеров 3Ware и Adaptec 2400A с самого начала и до самого конца. И что самое забавное, контроллер Promise вновь демонстрирует резкое падение результатов на шести-винчестерной конфигурации...


Увеличение глубины очереди запросов до 256 приводит к тому, что три контроллера-лидера ещё теснее сомкнули свои ряды! :)
А вот контроллер Promise SX6000 отстал от них уже сильнее, чем в предыдущем паттерне, и его отставание усугубляется по мере увеличения количества винчестеров в массиве. Контроллеры SuperTRAK100 и Adaptec AAA-UDMA продолжают отдыхать.
Перейдём к паттерну Database:


В этом паттерне увеличение количества винчестеров в массиве приводит к заметно большему росту скорости. По всей видимости, это связано с большей долей операций записи, которая для этого паттерна составляет 33 процента. Выполнение запроса на запись совсем не обязательно производить немедленно, а это значит, что его выполнение можно отложить и выполнить в любое удобное время.
Судя по графикам, лучше всего с этим справляется контроллер Adaptec 2400A, а все остальные контроллеры показывают близкие результаты.


Но, при нагрузке в 16 запросов, контроллеры 3Ware настигают Adaptec 2400A, а вот Promise SX6000 опять немного (но стабильно) отстаёт. Про "нелюбовь" контроллера Promise SX6000 к шестому винчестеру в массиве при такой нагрузке, можно уже и не говорить. ;)


В точности, как и в двух предыдущих паттернах, при максимальной нагрузке вперёд выходят контроллеры 3Ware (то, что на диаграмме не видно графика результатов контроллера 3Ware 6400 не значит, что его там нет! :) ).
Отставание Promise SX6000 от двух контроллеров 3Ware медленно растёт от 10% на одном диске до 20% в шести-винчестерной конфигурации.


Хм... Первый паттерн, в котором контроллеры решили проявить себя по-разному. Лучше всего отложенная запись удаётся контроллеру Adaptec 2400A, и он намного "обставил" своих конкурентов. Контроллер SuperTRAK100 от Promise неплохо начал, но при тестировании с количеством винчестеров большим трёх повёл себя очень странно... Возможно, что эта проблема решается апдейтом биоса или драйверов контроллера.


Отрыв Adaptec 2400A от конкурентов сократился, но он по-прежнему очень и очень велик. Удивляет то, что контролер Promise SuperTRAK SX6000 так и не смог догнать по скорости контроллеры "первой волны".


Довольно неплохо в этом паттерне выглядит и Adaptec AAA-UDMA - видимо у Adaptec есть какое-то тайное слово. :)
Контроллеры 3Ware, не обладающие таким количеством кэш-памяти, как, например, Adaptec 2400A, не могут показать столь же высокие результаты, но, зато, их скорость практически линейно зависит от количества винчестеров в массиве. К сожалению, этим не может похвастать контроллер Promise SX6000, отставание которого от лидеров опять усугубляется по мере увеличения количества подключённых к нему винчестеров.
Что же, очевидно, что скорость контроллеров в этом паттерне зависит от объёма и скорости работы кэш-памяти.


Контроллеры 3Ware, хоть и не имеют такого объёма кэш-памяти, как все остальные контроллеры в этом обзоре, весьма неплохо справляются с большими объёмами информации. Контроллер Adaptec 2400A немного отстал, но не так значительно, как Promise SX6000 или контроллеры Adaptec AAA-UDMA и Promise SuperTRAK100.
В то же время, контроллер Promise SX6000 продемонстрировал очень линейную зависимость скорости от количества дисков в массиве и, по всей видимости, имеет резервы для увеличения быстродействия.


При увеличении нагрузки контроллер Adaptec догоняет по скорости контроллеры 3Ware.


А при максимальной нагрузке скорость в этом паттерне первых трёх контроллеров, после некоторого разброда и шатаний совпала с точностью до 1МБ/сек на массиве из четырёх винчестеров (далее график продолжается только у 3Ware 7810). Очевидно, что 77МБ в секунду это очень хороший результат для массива из четырёх DTLA.
Не менее интересным, чем паттерн RandomWrite может оказаться паттерн с полностью случайным чтением. К сожалению, в этом паттерне не тестировались все контроллеры, а только половина, но, тем не менее, здесь есть на что посмотреть.


При случайном чтении и линейном характере нагрузки на первое место выходит контроллер 3Ware 7810 (в то время как контролеру Adaptec 2400A лучше удавались паттерны, в которых хотя бы в малой мере присутствовали запросы на запись). Контроллер Promise SX6000 здесь показал только третий результат.


Но при queue=16 ситуация кардинально меняется! В лидеры выходит контроллер Promise SX6000 (впрочем, он опять провалил тесты на шести винчестерах). Контроллер 3Ware оттеснён на второе место, а Adaptec 2400A ведёт себя точно также как и Promise SX6000 при записи (то есть его отставание от конкурентов увеличивается при увеличении числа винчестеров в массиве).


При максимальной нагрузке контролеры опять меняются ролями. На первом месте опять 3Ware 7810, на втором - Adaptec 2400A, а Promise SX6000 откатывается на третье место. Вот так может влиять величина нагрузки на скорость контролеров...

Замыкает наше тестирование контроллеров в RAID0 паттерн SequentialRead. Как Вы думаете, какой контроллер победит? :)


Правильно, победителем стал контроллер 3Ware 7810, а вот между Promise SX6000 и Adaptec 2400A разгорелась нешуточная борьба. Контроллер Promise SX6000 был чуть быстрее вплоть до четырёх-винчестерной конфигурации, но судя по виду графика его скорость чем-то сдерживается и при подключении пятого и шестого винчестера скорость чтения с массива даже падает!


Увеличение нагрузки несколько сглаживает графики и несколько меняет расстановку сил. Впереди, по-прежнему, 3Ware 7810, но Adaptec 2400A уже не так сильно отстаёт от него. График скорости чтения с контроллера Promise SX6000 явно ушёл в насыщение на четвёртом винчестере, но далее скорость не уменьшается.


Дальнейшее увеличение нагрузки ничего кардинально не изменяет.

Что же, в тестах контроллеров в режиме RAID0 нам удалось выяснить, что второе поколение IDE RAID-контроллеров работает более "правильно" и предсказуемо, чем контроллеры первой волны.
Обнаружились у контроллеров предпочтения к паттернам. Например, контроллер Adaptec 2400A великолепно ведёт себя в паттернах, где у него есть возможность использовать отложенную запись, а контроллеры 3Ware отлично работают в Sequential-паттернах. У контроллера Promise SX6000 обнаружилась неплохая оптимизация при работе в паттерне случайного чтения.
Но, главное, все контроллеры (в той или иной степени, конечно) масштабируются при увеличении количества винчестеров в массиве.

RAID 1 & 01

Наверное, Вам до смерти надоели графики? Попробуем поработать с таблицами!


При реализации RAID1 наиболее уверенно чувствуют себя контроллеры 3Ware (конечно же, не стоит сбрасывать со счетов фирменную технологию 3Ware - TwinStor), но Adaptec 2400A буквально наступает им на пятки.

Посмотрим, что будет в RAID01:


Чистая победа 3Ware7810!


Здесь победа вновь за контроллерами 3Ware, но контроллер Adaptec отстаёт от них на доли процента.


Увеличение доли операций записи даёт контроллеру Adaptec 2400A преимущество над контролерами 3Ware, не обладающими кэш-буфером большого объёма.


Бенефис контроллера Adaptec 2400A! :)
На удивление, относительно неплохо выступил Promise SuperTRAK100.


А в этом паттерне у контроллера 3Ware7810 конкурентов нет.


Контроллер 3Ware 7810 вновь на первом месте, но на второе место выходит контролер Promise SX6000/ Как мы помним, контроллер Promise неплохо справляется со случайными запросами на чтение.


Контроллеры распределили пьедестал почёта в том же порядке, что и в предыдущем паттерне.

Как и предполагалось, лучше всего с RAID1 и RAID01-массивами работают контроллеры 3Ware, но разница в скорости всех контроллеров нового поколения незначительна. Так что можно считать, что они примерно равноценны...

RAID5

Наверное, Вы немного устали от таблиц... :)
Взбодритесь, вырежьте три понравившихся вам графика и пошлите нам по почте. Среди присланных писем будет разыграна лотерея. Приз победителю - посылка ему по почте исходных результатов тестирования в необработанном виде (а это несколько мегабайт! :o) )!
Надеюсь, Вы немного проснулись. Итак, паттерн Fileserver в RAID5:


Как видите, впереди контроллеры, которые используют в качестве XOR-процессора чип от Intel - i960.


Контроллеры демонстрируют масштабируемость от количества винчестеров, но с Promise SX6000 на шестом винчестере опять начинаются чудеса.


При максимальной нагрузке контроллеры показывают близкие результаты, но Adaptec 2400A чуть быстрее остальных.


Явное преимущество Adaptec 2400A не подлежит сомнению...

Контроллер Adaptec 2400A опять впереди, на втором месте - Promise SX6000, а контроллер 3Ware 7810 замыкает тройку лидеров.


Увеличение нагрузки вновь помирило все контроллеры, и их скорости очень близки.

Посмотрим, распространяется ли умение откладывать до лучших времён операции записи контроллером Adaptec 2400A на RAID5:


Судя по всему - да!




Очень неплохо смотрится и контроллер Promise, который при всех нагрузках занимал второе место. Контролер 3Ware, не показывая высоких результатов, очень уверенно масштабируется от количества винчестеров в массиве.


Пир духа у контроллера Adaptec. Гигантский отрыв от конкурентов, конечно же, ему обеспечили отличные алгоритмы работы с кэш-буфером.




Только при увеличении нагрузки контроллеру Promise SX6000 удалось догнать Adaptec 2400A.


Смотрите, как "выстрелил" в этом паттерне контроллер Promise SX6000! На его фоне все остальные контроллеры смотрятся несколько "бледно". Впрочем, посмотрим, что будет при увеличении нагрузки:


А при росте нагрузки контроллер 3Ware 7810 словно "просыпается" и одним прыжком опережает всех конкурентов. Однако, что это за нелепый "горб" на графике? Нам остаётся только воскликнуть "Mea culpa!" и бить себя кулаком в грудь... Нет, это не ошибка тестирования, это место мы исследовали особенно тщательно.
В такой конфигурации массива (5 дисков) блок данных (=256KB), который мы пишем на массив акккурат ложится на 4 винчестера, так как размер страйп-блока у нас равен 64KB, а на пятый винчестер пришется контрольная сумма. В таком режиме отпадает необходимость в двух операциях чтения, которые выполняются в общем случае при выполнении записи в RAID5 массив, и скорость обработки контроллером запросов растёт.
Почему такое "ускорение" наблюдается только на контроллере 3Ware? - Сложно сказать... Возможно, у контроллера Promise за счёт большого кэша этот эффект сглаживается, или его фирмваре не пытается выловить эту "счастливую" комбинацию. А на остальных контроллерах просто нет возможности подключить пять винчестеров - они все четырёхканальные!


Примерно ту же картину мы можем наблюдать при максимальной нагрузке.


Очевидно, что поведение контроллеров в этом паттерне в точности похоже на их поведение при работе с RAID0-массивом.


Даже падение скорости работы у Promise SX6000 на шести-винчестерной конфигурации при нагрузке в 16 запросов осталось на своём месте. :)


В целом, в этом паттерне контроллеры Promise SX6000 и 3Ware 7810 чуть быстрее контроллера Adaptec 2400A.


В этом паттерне вне конкуренции контроллер 3Ware, великолепно оптимизированный под Sequential-нагрузку.


И с увеличением глубины очереди запросов он всё лучше с этим справляется.


Максимальная скорость чтения с RAID5-массива у контроллера 3Ware 7810 составила аж 170МБ/сек! Неплохо, не правда ли? :)

Выводы

Как уже говорилось в начале статьи, рынок IDE RAID-контроллеров стремительно прогрессирует. Три ведущих игрока на этом рынке - компании Promise, Adaptec и 3Ware выпустили уже второе поколение RAID5-контролеров, что и побудило нас начать новое тестирование.
Как мы убедились, у каждого из контроллеров нового поколения есть свои "фирменные" фичи, есть определённая оптимизация под некоторый круг задач.
Например, контроллер Adaptec имеет отличную оптимизацию операций записи, что делает его оптимальным выбором для работы с базами данных. Впрочем, этот контроллер блестяще справился со всеми нашими паттернами.

Контроллер Promise, на наш взгляд, будет неплохим выбором для небольших Web-серверов, так как он неплохо работает (во всех типах RAID) в паттернах со случайным чтением. Выгодным отличием Promise SX6000 от Adaptec 2400A является поддержка контроллером Promise шести IDE-каналов, что расширяет возможности по его использованию. Из шести дисков можно сделать два массива RAID5 или три массива RAID1 (система, база, лог), причём все массивы будут отказоустойчивы. Возможна и ещё одна комбинация - RAID1 + RAID01 (и даже ещё одна - RAID1 + RAID5 + HotSpare HDD). На четырёхканальном же Adaptec 2400A можно сделать только два RAID1 или один массив RAID 5 / RAID01.

Контроллер же 3Ware 7810 - поистине универсален. Не только с точки зрения возможных комбинаций RAID-массивов из подключаемых к нему восьми винчестеров, но и по скорости контролера в любом типе массива и при любом типе нагрузки.
Несмотря на то, что он не имеет кэш-буфера большого объёма, контроллер демонстрирует достойную производительность в самых неблагоприятных для себя режимах. Также, стоит отметить его отличную скорость при работе с последовательными потоками данных. Одним из козырей контроллера 3Ware является поддержка 64-битной шины PCI, что позволяет ему достичь высочайших скоростей линейного чтения и записи. Так что этот контроллер будет полезен как людям, работающим с файлами большого объёма, так и людям, работающим с потоковым видео.

P.S. Что-то в последнее время нас тянет на SCSI-контроллеры... Как вы думаете: имеет смысл?