Архитектура 3Ware StorSwitch

"The Advantages of a Switching Fabric over SCSI Shared Bus"
(November 2000; Revised April 2002)

Общая информация

Потребность в системах хранения информации все увеличивается. Традиционные технологии хранения данных на основе интерфейса SCSI оказались не в состоянии поспевать за современными требованиями, выдвигаемым к цене, совместимости и производительности. Потребители ищут решения, которые предоставляли бы надежность и устойчивость SCSI, масштабируемость в соответствии с их потребностями в хранении данных, предоставляемых по доступной цене.
Ахиллесовой пятой SCSI является архитектура разделяемой шины, которая лежит в основе стандарта. В любой момент времени к шине может обращаться только один жесткий диск, что создает ограничения на производительность из-за задержки при переключении между устройствами. В результате в системах, основанных на интерфейсе SCSI, производительность с ростом количества устройств на шине не увеличивается. Введение новых, более скоростных вариантов интерфейса SCSI смогло лишь отсрочить неизбежный вывод, что архитектура с разделением шины не сможет успешно удовлетворять растущие требования к полосе пропускания систем хранения данных.
Несмотря на то, что потребность в «более быстрых, дешевых и лучших» решениях существовала всегда, новые экономические факторы только ускорили эту тенденцию на рынке устройств хранения данных. Взрывной рост темпов обмена информацией, возникший благодаря развитию сети Интернет, создал огромную и всевозрастающую потребность в надежных, но недорогих решениях хранения информации, которые не могут быть созданы с использованием SCSI.
Основой при разработке компаний 3Ware новой архитектуры послужило предположение, что методы, подобные тем, что используются для решения проблем с ограниченностью полосой пропускания для сетевых устройств, могут быть применены в системах хранения данных. Кроме того, 3Ware также осознавала необходимость использования в своих решениях доступных дисков с интерфейсом АТА. Исходя из этих посылок, в 1997 году 3Ware начала разработку технологии StorSwitch, первой архитектуры хранения данных, которая использует не блокирующий переключатель (non-blocking switch fabric). При этом ставилась цель разработать архитектуру хранения данных, оптимизированную для использования дисков АТА, которая бы объединяла в себе надежность и производительность SCSI.
Линейка АТА RAID контроллеров Escalade была представлена в 2000 году и быстро стала новым стандартом для АТА RAID. Сегодня 4-е поколение контроллеров Escalade продолжает устанавливать стандарты по надежности, производительности и масштабируемости. Проведенные недавно тесты показали, что серия Escalade 7000 превосходит по производительности даже высококлассные (high-end) контроллеры SCSI Ultra 160.
Данная спецификация детально описывает параметры архитектуры переключения пакетов (packet-switch) StorSwitch от 3Ware, включая описание уникального механизма сопряжения аппаратных, микропрограммных (firmware) и программных ресурсов для оптимально баланса встроенного ПО (intelligence and host software), который позволяет достичь прорыва в соотношении цена-производительность и скорости работы.

SCSI не может удовлетворить требованиям, выдвигаемым к современным решениям хранения данных.

SCSI RAID долгое время играл основную роль в серверных приложениях. Возможность включать до 15 дисков на канал и устойчивость к отказам хорошо удовлетворяли потребность в высокой емкости и доступности, которые были необходимы в серверных системах.
По мере развития определенных тенденций на рынке, подгоняемых развитием Интернет, SCSI перестал удовлетворять выдвигаемым требованиям. Производительность основного процессора увеличивается в соответствии с законом Мура, благодаря чему скорости процессоров персональных компьютеров и рабочих станций уже перевалили за 1 ГГц и пошли дальше. Производительность сетей достигла 1 гигабита в секунду и развивается дальше, подбираясь к 10-гигабитному рубежу. В то же время, система ввода-вывода, основанная на технологии SCSI, просто не смогла обеспечить сравнимое увеличение производительности и стала самым очевидным узким местом, ограничивающим общую производительность современных систем. Причем по большей части это ограничение является следствием того, как информация передается между диском и контроллером. Связь по шине SCSI основывается на модели разделенной шины. Разделенная шина в силу архитектуры является узким местом системы ввода-вывода. В любой момент времени общаться с шиной может только одно устройство. Все остальные устройства должны ждать. Это имеет несколько различных последствий: увеличенные задержки при операциях ввода-вывода, которые выливаются в ухудшение общей производительности, увеличившуюся сложность компонентов SCSI для эффективного разделения шины (arbitration); и необходимость большого кэш-буфера на всех устройствах, подключенных к шине, для буферизации информации, пока устройства ждут в очереди. В результате, системы, основанные на SCSI, плохо масштабируются при добавлении в систему новых дисков и являются комплексными и дорогими.
В то время как пропускная система шины SCSI увеличивалась из года в год, задержки из-за необходимости переключения шины оставались сдерживающим фактором в общей производительности системы. Новые и более быстрые интерфейсы, расширяющие пропускную способность шины, подобные Ultra160 SCSI, разработанные для того, чтобы увеличить максимальную производительность, тем не менее, не решают проблему с задержками, являющимися настоящим фактором, сдерживающим производительность.

Системы хранения данных на основе SCSI дороги. Цены на диски SCSI обычно на 50% выше, чем цены на диски АТА той же емкости. Существует мнение, что более высокая стоимость оправдывается, так как SCSI диски «более надежны», чем диски с интерфейсом АТА. Возможно, когда-то это было правдой, однако современные спецификации дисков АТА и SCSI показывают, что разница во времени наработки на откaз (MTBF, Mean Time Between Failure and non-recoverable bit error rate) не так значительна, как можно подумать, особенно в обычных приложениях.


Преимущество в стоимости дисков АТА над их SCSI аналогами объясняется громадным объемом продаваемых дисков АТА. По данным IDC Research, 87% всех поставленных дисков имеют интерфейс АТА, 11% - SCSI, а оставшиеся 2% - Fibre Channel. Таким образом, ценовое преимущество АТА-дисков образуется за счет больших объемов.
При постоянном росте спроса на устройства хранения данных и сокращении бюджетов IT-отделов, АТА является жизнеспособной альтернативой более дорогим решениям хранения данных на основе SCSI. Используя переключаемый (switched) АТА RAID контроллер, сейчас можно построить RAID массив емкостью 1 терабайт примерно за 50% стоимости аналогичного решения на базе SCSI, при этом средняя стабильность системы не будет снижена.
Разность в стоимости между SCSI и АТА решениями затрагивает и интерфейсные контроллеры, которые связывают устройства хранения данных с системой. SCSI RAID контроллер стоит больше, чем контроллер АТА RAID, таким образом, общая стоимость системы хранения данных на SCSI на 40-50% выше, чем стоимость аналогичного решения на АТА.
Когда-то SCSI было идеальным решением – когда процессоры работали на частоте 3 МГц, а сети - со скоростью 100Мбит/сек. Рыночные факторы, которые заставляют технологию развиваться, уже давно переросли производительность и цены, которые предлагаются в решениях на базе SCSI. Далее, единственной технологией из мира SCSI, которая более-менее устраняет эти проблемы, является Fibre Channel, но она еще более дорогая, чем SCSI. К тому же, Fibre Channel рассматривается как жизнеспособное решение только для узкого рынка высококлассных (hi-end) систем хранения данных.
Таким образом, при поиске доступного по цене решения для хранения данных, которое сочетало бы надежность, масштабируемость, широкую полосу канала данных и производительность системы ввода-вывода, нужно искать среди других предложений.

Переключение: более подходящий выбор для систем хранения данных

Когда популярность сетей начала расти взрывными темпами, индустрия сетевых решений столкнулась примерно с теми же проблемами, что и индустрия систем хранения информации сейчас. В ответ на это ею была разработана неблокирующая (non-blocking) технология переключения, которая смогла преодолеть ограничения Ethernet с его разделенной шиной. Переключение позволяет избавиться от задержки (arbitration), которая уменьшает пропускную способность шины, благодаря чему обеспечивается увеличенная скорость передачи данных, меньшие задержки и намного улучшенный механизм обработки ошибок. Переключение реализуется на аппаратном уровне, что позволяет избежать дополнительных затрат времени из-за программной обработки, упрощая сложную задачу роутинга пакета и серьезно снижая потребность в памяти для кэширования данных в ожидании разрешения использовать шину. В настоящее время трудно будет найти корпоративное или бизнес-приложение, использующее разделенную шину.

Поскольку проблемы ограничения производительности сети и масштабируемости были решены, следующей критической точкой центров данных стала емкость устройств хранения данных и скорость перекачки данных. Большая часть поставщиков готовых систем хранения данных используют контроллеры собственной разработки с оптимизированными SCSI дисками для того, чтобы достичь максимальной надежности, масштабируемости, производительности и легкости управления. Это увеличивает стоимость сохранности данных и привязывает центры хранения информации к определенному поставщику, продукты которого несовместимы с продукцией других поставщиков.
Учитывая повышенные требования к производительности системы ввода-вывода, быстро растущие потребности в системах хранения данных и изобилие недорогих дисков с интерфейсом АТА, можно говорить о возникновении потребности в высокопроизводительном АТА RAID контроллере с хорошей масштабируемостью, который имеет архитектуру переключения, чтобы привнести надежность, легкость в обслуживании и высокую производительность SCSI на рынок АТА.
3Ware последовала это логике и первой создала патентованную архитектуру StorSwitch, которая применяет принципы переключающихся сетевых шин к системе ввода-вывода, значительно увеличивая производительность и снижая общие затраты на хранение данных. Результатом этого стало решение на основе RAID, которое превосходит подход, используемый в SCSI. Каждый жесткий диск имеет определенную полосу пропускания, которая всегда доступна для него благодаря использованию полностью независимых портов. Использование технологии переключения пакетов приводит к тому, что жесткому диску нет необходимости ожидать своей очереди или ждать окончания работы с другим диском из-за задержки переключения между устройствами (arbitration) или других ограничений, присущих архитектуре разделенных шин.

Архитектура StorSwitch

Переключение пакетов изначально было разработано для сетей Ethernet для улучшения скорости передачи голосовых данных и информационного трафика в сети. Еще до разработки переключающейся архитектуры, производительность сетевых решений ограничивалась двумя основными факторами: роутинг пакетов выполнялся на программном уровне, а задержки шины (atbitration) снижали доступную полосу пропускания до небольшого кусочка от теоретического максимума.
Переключение серьезно снизило требования к программным операциям при роутинге пакетов, устраняя необходимость анализа адреса, куда направляется пакет, с тем, чтобы нормально отослать его дальше по сети. Переключающаяся сеть может направлять пакеты на аппаратном уровне, серьезно снижая задержки при роутинге.
Сетевой переключатель (network switch) использует внутреннюю высокоскоростную шину, которая может справиться с общей пропускной способностью всех сетевых портов. Это обеспечивает выделение неблокируемого интерфейса (non-blocking interface) каждому порту, так как внутренняя шина способна одновременно обработать полноскоростной трафик всех портов. Это позволяет любому сетевому устройству, подключенному к переключателю, работать практически с полной полосой пропускания сети. 3Ware стала первой компанией, которая применила концепцию пакетного переключения к устройствам хранения данных. Отдельный порт данных присоединяет каждый диск к высокоскоростной внутренней шине, которая использует механизм переключения пакетов для передачи данных между отдельным жестким диском и основной памятью компьютера через шину PCI. Использование передачи данных с помощью переключения пакетов в устройстве хранения данных увеличивает скорость, расширяет полосу пропускания памяти по требованию устройства и сокращает задержки.


На рисунке показано применение StorSwitch в контроллере RAID. Каждый диск имеет отдельный порт к контроллеру пакетной передачи, который перенаправляет данные между различными жесткими дисками и шиной PCI.

Создание контроллера АТА RAID с использованием архитектуры StorSwitch

Архитектура StorSwitch от 3ware позволяет разработать недорогой контроллер АТА RAID, обладающий чрезвычайно высокой производительностью.
Однако основной заботой системных администраторов и CIO в отношении систем хранения данных является не производительность, а надежность и доступность данных. Высокая пропускная способность имеет меньшее значение, если не обеспечена надежность или доступность при хранении информации.
Следующий раздел описывает архитектуры продуктов семейства АТА RAID контроллеров Escalade от 3Ware, вариант контроллера АТА RAID, который действительно позволяет перенести надежность SCSI на платформу АТА.

Линейка АТА RAID контроллеров Escalade.

Архитектура StorSwitch впервые была применена 3Ware при разработке линейки контроллеров Escalade – первого переключающегося контроллера, который позволяет серьезно повысить общую стабильность системы.
Ключевые особенности Escalade:

StorSwitch – передача информации с использованием переключения пакетов (packet-switch).
Канал передачи данных AccelerATA – асинхронный, зарезервированный (dedicated) канал передачи данных для дисков АТА с низким уровнем задержек
Интерфейс минипорт-драйвера (miniport driver) SCSI – стандартный интерфейс драйвера устройств хранения данных
Действительно аппаратный RAID – все функции RAID работают через контроллер
Стратегический баланс имплементации различных функций между аппаратным, микропрограммным (firmware) и программным уровнем для оптимизации производительности и надежности
Реализация функций обеспечения надежности SCSI на недорогих дисках АТА
Возможность управления устройством хранения информации по сети

StorSwitch – передача информации с использованием переключения пакетов (packet-switch)

В архитектуре StorSwitch ключевым технологическим компонентом является СБИС, которая соединяет шину PCI с высокоскоростной внутренней шиной и передает данные между этим двумя элементами с использованием технологии переключающихся пакетов. В компании 3Ware это называется P-chip. На каждую плату RAID-контроллера приходится один P-chip, который обеспечивает всю функциональность RAID.

AccelerATA - асинхронный канал передачи данных с низким уровнем задержек

Основное требование к зарезервированной переключающейся архитектуре для жестких дисков АТА – наличие порта данных, обслуживающего отдельный жесткий диск.
Для удовлетворения этого требования 3Ware разработала чип AccelerATA или A-chip, автоматизированный порт данных, который работает с асинхронным интерфейсом АТА. Все задачи, связанные с выдачей команды, пересылкой данных, обработкой ошибок и проверкой состояния выполняются через AccelerATA на аппаратном уровне. Благодаря этому получают очень низкие задержки и минимальные потери на программную обработку. Независимый, зарезервированный порт для диска поддерживает жесткие диски Ultra ATA 33/66/100/133.

Интерфейс минипорт-драйвера (miniport driver) SCSI

Разработка 3Ware нацелена на операционное окружение Microsoft Windows ® и Linux ®. Каждая из этих операционных систем и их производных имеет интерфейс минипорта SCSI между операционной системой и драйвером устройства, который общается с платой контроллера.
Поэтому 3Ware создавала архитектуру драйвера как минипорт-драйвер SCSI. Эта стратегия позволяет продуктам от 3Ware без проблем работать с приложениями, ориентированными на SCSI, используя уже встроенные в приложения и ОС средства оптимизации работы высококлассных (high-end) серверных приложений. 3Ware также предоставила исходные коды драйвера для Linux сообществу Linux (www.kernel.org). Этот шаг позволяет 3Ware поддерживать всё сообщество Linux.

Действительно аппаратный RAID

Мейнфреймы и миникомпьютеры (mainframes and minicomputers) обычно используют «интеллектуальные» дисковые контроллеры для встроенных систем хранения данных. Эти платформы используют возможности прямого доступа к памяти (DMA) для чтения и записи данных напрямую из системной памяти, минимизируя затраты ресурсов центрального процессора.
Персональные компьютеры используют системы хранения данных менее эффективно, используя дисковые контроллеры, которые оставляют управление операциями ввода-вывода диска из виртуальной памяти драйверу устройства. Из-за этого возникает дополнительная нагрузка на центральный процессор и шину PCI, которые вынуждены обрабатывать ненужные низкоуровневые запросы ввода-вывода на прерывания и транзакции.
В дополнение, сетевые карты (NIC), как правило, подключаются к системе также через шину PCI. Когда компьютер посылает или принимает данные через сеть, значительные ресурсы шины PCI и центрального процессора затрачиваются на кодирование и декодирование пакетов TCP/IP.
Эти факторы оказывают постоянное негативное воздействие на приложения и производительность сети. 3Ware решает эти проблемы несколькими путями:

драйвер устройства с низкими задержками, что минимизирует воздействие прерываний на центральный процессор, благодаря поддержке исполнения нескольких операций ввода-вывода за одно прерывание;
использование модели виртуальной памяти ПК для прямого доступа к памяти (DMA) для прямого чтения и записи в системную память, что минимизирует участие системы в процессе обмена информацией;
набортный процессор, который выполняет все функции RAID и исполняет командные функции, связанные с операциями ввода-вывода жесткого диска.

Эти три конструктивные реализации, совмещенные с P-chip (StorSwitch) и A-chip (AccelerATA), позволили создать действительно аппаратный RAID контроллер, который выполняет функции высокопроизводительного и высоконадежного RAID либо аппаратно, либо за счет центрального процессора, что позволяет достичь очень высокой скорости передачи информации, при этом, не жертвуя надежностью или ресурсами системы. А результатом этого становится улучшение общей производительности системы.

Нахождение правильного баланса между аппаратной, микропрограммной и программной частью

Архитектура устройств хранения данных, сочетающая высокую производительность и хорошее соотношение цены и эффективности, должно хорошо распоряжаться имеющимися у него ресурсами компьютера и возможностями RAID-контроллера. При попытке разгрузить центральный процессор за счет использования набортного чипа всегда надо взвешивать преимущества освобождения большего количества системных ресурсов против возросшей стоимости контроллера. Поэтому нахождение оптимального баланса между аппаратными, микропрограммными и программными ресурсами является необходимой задачей при построении высокоэффективного решения для хранения информации.
3Ware решает этот вопрос, разрабатывая архитектуру, задачей которой является минимизация задержек при операциях ввода-вывода и максимизации общей пропускной способности системы. Переключающаяся архитектура 3Ware, воплощенная в первую очередь в двух СБИС собственной разработки, сильно уменьшает стоимость RAID контроллера и минимизирует требования к дорогой набортной RAM, которая используется для кэширования данных в очереди. Набортная микропрограмма контролирует транзакции ввода-вывода и расчеты RAID, таким образом уменьшая затраты времени центрального процессора и лимитируя нагрузку на шину PCI. Функции программного драйвера сильно сокращаются из-за того, что большую часть операций реализует сам контроллер, поэтому становится возможным создать простой драйвер с минимальным количеством задержек. А в результате получается высокопроизводительный RAID-контроллер по доступной цене.

Внедрение функций, повышающих надежность SCSI, на платформу АТА

Общий объем поставок дисков с интерфейсом АТА примерно в 10 раз превосходит поставки SCSI дисков. В результате, диски АТА получают выигрыш в скорости за счет больших масштабов производства по сравнению со SCSI, благодаря чему стоимость дисков той же емкости получается ниже. Для того, чтобы соответствовать уровню надежности, установленному технологией SCSI, необходимо, чтобы АТА RAID контроллер предоставлял тот же уровень надежности, что и контроллер SCSI. RAID-контроллеры от 3Ware обеспечивают те функции, которые ранее были доступны только на SCSI-контроллерах: постановка в очередь и изменение очередности команд, динамическое восстановление секторов, фоновая верификация, фоновая чистка поверхности (media scrubbing), набортная обработка ошибок и повторное чтение. С использованием технологии 3Ware, недорогие диски АТА предоставляют ту же надежность, что и SCSI, но при намного более низкой стоимости.

Возможность управления устройством хранения информации по сети

Практически все корпоративные устройства хранения данных подключены к сети. Поэтому 3Ware разработала технологию управления, которая разрешает управление RAID-контроллерами через сеть и также позволяет использовать уведомления по электронной почте, касающееся происшествий (events) и ошибок.
Каждый RAID-контроллер 3Ware Escalade поставляется с утилитой управления дисками от 3ware - 3DM™, которая позволяет осуществлять локальное и удаленное конфигурирование и мониторинг через любой стандартный веб-браузер. Простой графический пользовательский интерфейс показывает, где возникла проблема, и предлагает решение. Если какой-либо из дисков в массиве отказывает, 3DM уведомляет об этом администратора. Опциональная модификация утилиты позволяет получить более глубокие возможности управления, например, установить возможность задать запасные диски в массиве (hot spares) и управление горячей заменой (hot swap). 3DM позволяет расширить возможности обеспечения надежности, которые присущи применяемой архитектуре.

Краткое содержание

Высокая цена SCSI привела к тому, что преимущества этой технологии по защите информации не использовались на многих рынках, выдвигающих высокие требования к цене, таких, как рынок редактирования видео, серверов электронной почты и файловых серверов общего назначения. Однако компании все больше осознают высокую ценность их информации. Технология RAID была разработана для обеспечения высокой степени защищенности и доступности данных, находящихся на дисках массива. Единственная причина, по которой ее применение ограничивалось системами высокой надежности (high-end), стала высокая стоимость систем с защитой информации.
3Ware стала первой компанией, выпустившей устройства с переключающейся архитектурой для RAID, которая позволила увеличить общую стабильность системы при использовании недорогих дисков, широко доступных на рынке. Технология StorSwitch, которая сейчас достигла 4-ого поколения, является единственной архитектурой, которая предоставляет по доступной цене надежность, производительность и высокую емкость, необходимые для серверов с высокой степенью защиты информации.