IDE RAID-контроллер 3Ware 7810

Введение

Одним из основных недостатков IDE-RAID контроллеров являлось малое число подключаемых к ним винчестеров. Широко распространённые контроллеры на чипах Promise, HPT и CMD имели всего два канала, к каждому из которых можно было подключить два винчестера. Но два винчестера на одном шлейфе не могли работать одновременно из-за ограничений интерфейса, и скорость такой конфигурации была всегда меньше скорости массива из двух винчестеров, подключенных на разные каналы. Чтобы сделать контроллер, у которого на каждый канал подключался бы всего один винчестер, и число каналов при этом осталось неизменным, можно поставить на плату несколько чипов, объединив их через PCI-мост. По этому пути пошла компания Promise со своим контроллером TX4, на котором установлено два чипа через PCI-мост.
Но бесконечно увеличивать длину платы для установки туда IDE-чипов невозможно (например, плечо у Леонида Ильича закончилось на пятой Звезде Героя...), да и организация работы многочиповых конфигураций - дело непростое.
Фирма 3Ware справилась с этой проблемой просто и элегантно. Как? - сейчас посмотрим.

Контроллер

Вот он, во всей красе, восьмиканальный IDE RAID-контроллер 3Ware 7810:

На удивление, плата имеет очень небольшие размеры. Длина этой PCI64 карты составляет 17,5см, а высота - 10см. По сравнению с Adaptec 2400a, контроллер 3Ware кажется "половинчатым решением", однако это не так. На столь малой площади уместились два IDE-чипа, чип DiskSwitch, два модуля памяти (кэш), чип микроконтроллера от ST, микросхемы BIOS-а и т.п.
Прежде всего, меня заинтересовали необычные микросхемы памяти:
Оказалось, что это микросхемы SRAM от Samsung, с организацией памяти 128Kx36-bit (K7N403601A). Объём памяти, как мы можем подсчитать, невелик: две микросхемы по 576Кбайт = 1,125MB. Но небольшой её объём, наверное, компенсируется её скоростью (это не просто SRAM, а NtRAM - память с нулевой длительностью цикла обращения массива).

Чипы DiskSwitch и AccelerATA теперь не несут надписей "Xilinx", но, по сути, это всё те же ПЛИС:
Точно так же, как и в контроллере 3Ware 6xx0, здесь можно менять прошивку не только BIOS-у контроллера, но и чипам DiskSwitch и AccelerATA. Правда, мне этого делать не пришлось, так как в контроллере уже были прошиты новейшие версии прошивок.

Контроллер рассчитан на использование в PCI 64/33МГц-слоте ( к сожалению, он не работает в PCI 32-слоте!), поддерживает RAID-массивы уровней 0,1,10,5 и JBOD.
Да, про главное-то я сказать забыл! :)
ВОСЕМЬ разъёмов IDE - вот то, ради чего и создан этот контроллер! Вот эти восемь чёрных 40pin разъёмов уже готовы к тому, чтобы к ним подключили восемь 120ГБ винчестеров! При этом максимальная ёмкость массива составит 960ГБ - почти 1ТБ (840ГБ, если мы будем создавать массив с "чётностью")! Причём стоимость такого массива будет намного меньше, чем у SCSI-аналога той же ёмкости.

Дравера и утилиты

Точный список поддерживаемых операционных систем можно уточнить на сайте 3Ware, но сразу могу сказать, что под все основные операционные системы драйвера у этого контроллера есть. :)
Но нас интересовало, что за драйвера и утилиты есть у 3Ware 7810 под Win2000.
Инсталляция драйверов прошла без проблем, и в свойствах контроллера мы увидели следующее:


Одной из "фишек" этого контроллера является то, что если к нему подключены диски, не объединённые в массив, то контроллер автоматически объявляет их JBOD-ами, и они становятся доступными в системе, как одиночные диски. То есть, контроллер можно использовать и как IDE-контроллер.


Он, конечно, будет для такой цели немного дороговат, но зато он занимает всего один PCI64-слот!
А вот так выглядит утилита мониторинга состояния массива - 3DM Management Utility:
К сожалению, утилита может только отображать состояние массива и писать лог, но не занимается созданием массивов или изменением их конфигурации. При желании, утилита сворачивается в трей


и не мешает работе. Но в случае возникновения у массива или одиночного диска каких-либо проблем, программа разворачивается в полный рост и докладывает о возникшей проблеме. Визуальное предупреждение сопровождается звуковыми эффектами, которые по желанию можно отключить.


Взглянув на нижнюю часть окна утилиты 3DM, можно получить полный отчёт о версии фирмваре firmware всех чипов контроллера, версию драйвера и т.п.:

Корзина

Я начал статью с сетований на небольшое количество IDE-каналов у большинства контроллеров, а предыдущий раздел закончил во здравие IDE RAID. Однако не всё так просто! Немного найдётся корпусов с восемью посадочными местами под 3,5 дюйма винчестеры. В прошлом обзоре я показал свой стенд, в котором, кроме системного, работало ещё шесть винчестеров, подключённых к Promise SuperTrak100. Казалось, больше винчестеров в корпус SuperMicro уже не поставишь. Однако нет, это оказалось возможным!
Свершиться этому чуду помогла IDE-корзина на три устройства от 3Ware - MS2231:


Она выполнена целиком из металла и поэтому довольно увесиста. Крепление к корпусу системного блока осуществляется либо стандартными винтами, либо при помощи салазок - именно так я и ставил корзину в корпус SuperMicro (Chieftec) SC-701.


На переднюю панель корзины через гибкий шлейф выведены индикаторы питания и активности для всех трёх винчестеров.


Для того, чтобы винчестеры в корзине "не испеклись в собственном соку", на одной боковой грани корзины установлены два вентилятора Sunon KD1206PHB1.


На задней панели корзины мы можем видеть три разъёма IDE и всего два разъёма питания. То, что для работы трёх устройств в корзине требуется всего два разъёма питания - это очень грамотный ход. При попытке поставить в корпус SC-701 восемь винчестеров, мы сталкиваемся с проблемой нехватки разъёмов питания для них. Проблему эту можно решить разветвителями питания, но любое дополнительное механическое соединение - дополнительный источник проблем. Так что такой способ уменьшить количество коннекторов питания можно только приветствовать.
Вот так выглядит корзина с откинутой передней панелью. Нашему взору предстают три мобайл-река с установленными в них винчестерами и три "замка" питания. Посредством этих "замков" мы можем подключать и отключать питание у винчестеров в корзине.
На этой фотографии мы видим, насколько "плотно" винчестер установлен в мобайл-реке. За счёт этого от винчестера хорошо отводится тепло, и вибрации, возникающие при работе, "гасятся" массивной корзиной.
Для того, чтобы в 2U-отсек поместилось три винчестера, высота мобайл-реков сделана минимально возможной, но такой, что винчестеры всё-таки не касаются друг друга.
Вот так выглядит корзина изнутри, если из неё вынуть все мобайл-реки. Отлично видны ответные разъёмы на доковой станции и n-ное количество конденсаторов.
А вот так выглядит разъём на мобайл-реке:


Сорок восемь контактов - это, конечно, не 64, как на Promise SuperSwap, но всё равно больше, чем на стандартных IDE мобайл-реках.
Ну, на "железки" полюбовались, а теперь приступим к тестам!

Тестовая система

материнская плата - SuperMicro 370DLE
процессор - Intel Coppermine 600MHz;
память - 2*128Mb SDRAM Micron PC133 ECC Registered;
винчестер - Fujitsu MPG3102AT;
видеокарта - Matrox Milennium 4Mb;
операционная система - Windows 2000 Pro SP2;

Методика тестирования

Размер stripe-блока при создании массивов устанавливался в 64КБ. Для тестов в WinBench массивы размечались в FAT32 и NTFS на один раздел с размером кластера по умолчанию.
Тесты проводились по четыре раза, результаты усреднялись. Винчестеры между тестами не охлаждались.
Использовались следующие тесты:

WinBench 99 1.2
IOMeter 1999.10.20

Для IOMeter использовались следующие паттерны:


Исследование влияния размера stripe-блока на производительность проводилось на RAID 0 массиве из четырёх винчестеров.

Результаты WinBench 99

Результаты WinBench я привожу в сокращённой форме (надеюсь, Вы понимаете почему :)).

* Обратите внимание, что значения трансфера в начале диска (Disk Transfer Rate:Beginning) являются ссылками на графики линейного чтения.

По результатам RAID 0 можно сказать, что RAID 0 на 3ware 7810 как минимум не хуже, чем результаты винчестера на обычном IDE контроллере. C увеличением количества винчестеров, результаты WB растут, но коэффициент пропорции настолько мал, что, на мой взгляд, нет никакого резона использовать RAID 0-конфигурации ради ускорения работы в Windows. Однако при работе с большими файлами ускорение работы произойдёт, и не маленькое. Если мы обратим внимание на графики линейного чтения, то увидим, что скорость чтения растёт прямо пропорционально количеству винчестеров в массиве. Благодаря продуманной внутренней архитектуре контроллера и большой пропускной способности шины PCI 64/33МГц, скорость чтения с массива достигает "потолка" только при подключении шестого винчестера IBM DTLA (начальная скорость чтения с которого составляет 37МБ/сек) и далее растёт уже незначительно. То есть максимальная пропускная способность контроллера составляет примерно 200МБ/сек, что в два раза больше, чем у стандартных PCI 32/33МГц контроллеров.


Обратите внимание на результаты RAID 1-массива. В Winbench99 RAID 1 массив медленнее, чем одиночный винчестер, но по скорости линейного чтения RAID1-массив вдвое превосходит одиночный винчестер. Нам уже знакома технология TwinStor, при которой запросы на чтение чередуются на два винчестера в RAID 1 массиве. То есть по чтению RAID 1 массив в исполнении 3Ware аналогичен RAID 0 массиву из двух винчестеров. Но, при выполнении операции записи, массив RAID 1 будет всегда медленнее одиночного винчестера, так как контроллер должен сдублировать операции записи на оба винчестера в массиве и дождаться окончания их выполнения. Вероятно, этим и вызвано отставание RAID 1 от одиночного винчестера в WinBench99 (то, что в тестах WB99 присутствуют операции записи, мы уже доказали здесь).

Ну и, наконец, результаты RAID 5-массива:


При работе RAID5 массива контроллер выполняет значительно больше дисковых операций, чем при работе с RAID 0 или RAID 1 (теоретически, чтение выполняется без потерь скорости, а каждая операция записи требует чтения двух stripe-блоков (или их кусков) и записи двух блоков. Так что не удивляйтесь низким результатам этого типа массива в тех тестах, где используется запись.
Так оно и вышло - результаты WB в два-три раза хуже, чем у RAID 0-массива, но при линейном чтении RAID выглядит молодцом (я имею в виду результаты Disk Transfer Rate).

Результаты IOMeter

В приведённых ниже таблицах приведены значения Total I/O, то есть значения обработанных контроллером запросов.






Прямо и не знаю, нужны Вам мои комментарии или нет... :)
Для того чтобы понять, как соотносятся скорости различных RAID массивов и как скорость каждого типа массива зависит от количества винчестеров в нём, рассмотрим следующие диаграммы (в диаграммах рассматриваются значения Total I/O при максимальной нагрузке).
Начнём мы с паттерна Fileserver:
При взгляде на диаграмму, среди прочих положительных моментов, отмечаем прежде всего то, что скорость всех массивов линейно зависит от количества дисков. С соотношением скоростей массивов всё ещё проще. Быстрее всего работает RAID 0 (но нужно помнить о том, что этот тип RAID-массива обладает наименьшей надёжностью), на втором месте - RAID 10, а RAID 5 в данной группе самый медленный тип массива. Отметим также, что результаты RAID 1 "укладываются" на мысленное продолжение графика RAID10-массива.
Никаких кардинальных изменений в графиках нет, но результаты массивов немного выше, чем в паттерне Fileserver.
Увеличение доли запросов на запись до 33% ухудшает результаты RAID10 и RAID 5 массивов. Особенно это сказывается на скорости RAID 5.
Самый тяжёлый паттерн для RAID 10 и RAID 5 массивов. Так как у контроллера 3Ware нет кэш-буфера большого объёма, то ему очень трудно организовывать отложенную запись при случайном характере обращений к массиву.
В этом паттерне мы испытываем контроллер на способность "прокачать" через себя большие объёмы информации. Судя по графикам, он справляется с этой задачей неплохо. Максимальная скорость записи (при работе с RAID0) соcтавила примерно 130МБ/сек. Результаты RAID 10 немного скромнее - 61МБ/сек на восьми винчестерах, то есть почти в два раза медленнее! Ещё бы, ведь контроллеру приходилось дублировать информацию на зеркальные винчестеры. Ещё меньше результаты у RAID 5 - всего 41МБ/сек. Причём во всех типах массива явственно видно, как при максимальном количестве винчестеров наступает "насыщение". Т.е. можно сказать, что восемь таких быстрых винчестеров, как IBM DTLA, полностью загружают шину контроллера при таком характере нагрузки.
При случайном чтении контроллер показывает блестящие результаты. Скорость любого типа массива практически одинакова и все типы массивов масштабируются с одинаковой эффективностью.
При последовательном чтении мы опять наблюдаем "насыщение" контроллера при большом количестве винчестеров в массиве. Чтобы оценить, на каких скоростях происходит это насыщение, переведём значения Total I/O в МБ/сек. Сделать это очень просто: размер обрабатываемого блока в этом паттерне составляет 256КБ. То есть для того, чтобы получить МБ/сек, достаточно разделить результат контроллера в Total I/O на 4.
Совершив эту несложную арифметическую операцию, получаем
очень интересную картину! Если присмотреться к графикам RAID 0 и RAID 5 внимательно, то можем заметить, что график RAID 5 повторяет график RAID0, но как бы сдвинут относительно него по оси X (на один винчестер). Что в точности соответствует теории! Ведь в RAID 5 часть блоков на каждом винчестере используется под хранение контрольной суммы (эти блоки "вычленяются" из полезного объёма винчестера и не участвуют в процессе чтения).
По результатам тестирования в IOMeter, контроллер продемонстировал хорошие способности к масштабированию и сбалансированность своей архитектуры.

Но так как тестирование контроллера с одним размером stripe-блока не может полностью выявить все способности контроллера, то мы решили провести ещё одно небольшое исследование.

Влияние размера Stripe block

В предыдущем обзоре IDE RAID-контроллера размер stripe-блока довольно сильно влиял на скорость контроллера в некоторых паттернах. Но сейчас мы тестируем совершенно другой контроллер с другим диапазоном размеров stripe-блока. Интересно, измениться ли найденная закономерность?
На всякий случай напоминаю, что эти тесты проводились на RAID 0-массиве из четырёх винчестеров.


По всей видимости, нет. Правило "чем больше размер stripe-блока, тем лучше" действует и на этом контроллере.






Можно, конечно, долго и нудно говорить, что в этом паттерне быстрее всего массив работает на размере stripe-блока в 128К, а на этом паттерне - на 1024K, но Вы и сами всё видите...
Как правило, быстрее всего массив работает при размере stripe-блока 1024K.
Исключением из этого правила являются результаты в паттерне SequentialRead при линейной нагрузке. Если мы бросим взгляд на диаграмму, то увидим, что большой размер stripe-блока отрицательно влияет на скорость чтения с массива при линейной нагрузке. Отчего же это может быть? Смотрите: размер блока данных, который читается с массива при каждом запросе, составляет 256КБ. Если размер stripe-блока равен 64К, то каждый из четырёх винчестеров в массиве при отработке запроса читает 256/4=64КБ. То есть винчестеры работают одновременно, или "параллельно". При увеличении размера stripe-блока в обработке запроса на запись участвует уже меньшее количество винчестеров (128K – два винчестера, 256K – один). Естественно, скорость чтения с массива при этом уменьшается пропорционально.
При увеличении длины очереди запросов контроллер меняет порядок выполнения команд и находит работу для каждого винчестера массива. Скорость чтения под большой нагрузкой уже не зависит от размера stripe-блока, а зависит только от пропускной способности контроллера или винчестеров.

Надёжность

Для проверки способности контроллера восстанавливать работоспособность массива при отказе одиночного диска были смоделированы аварийные ситуации в RAID 10 и RAID 5 массивах из четырёх дисков.
Время ребилда массивов RAID 10 и RAID 5 составило примерно 10 минут, что пока является рекордом для IDE RAID-контроллеров.

Выводы

Контроллер 3Ware 7810 показал отличную функциональность и прекрасную масшабируемость от количества подключённых винчестеров. Так как этот контроллер имеет 8 IDE каналов, то он идеально подходит для создания дисковых подсистем большой ёмкости. Учитывая всё возрастающие объёмы IDE-дисков и снижение цены за 1ГБ информации на них, дисковая подсистема на IDE становится всё привлекательнее с точки зрения стоимости. Хочется отметить также, что 3Ware предлагает не только контроллеры, но и качественные HS-корзины формата 2U, которые так и просятся в 2U NAS-устройства.
Итак:
Плюсы

отличное быстродействие;
прекрасная масштабируемость;
большое количество IDE-каналов;
высокая пропускная способность контроллера (PCI64!!!);
небольшие размеры;
поддержка HotSwap и HotSpare;

Минусы

отсутствие возможности создания/модификации массива из-под операционной системы

К вышесказанному хочется добавить только несколько слов. Контроллер 3Ware 7810 не просто уникален тем, что умеет работать с восемью IDE винчестерами, но он ещё и делает это отлично! Сбалансированная архитектура контроллера позволяет ему с успехом справляться и с серверной нагрузкой и с потоковым чтением/записью. В общем, рекомендуется профессионалам... :)


Благодарим компанию Альянс за предоставленные на тестирование контроллер 3Ware 7810 и HS-корзину 3Ware MS2231.