31 мая 2013 г.

OEM SAS контроллеры в серверах Supermicro. Часть 2.

Предыдущая попытка навести порядок в большом ассортименте SAS контроллеров, используемых Supermicro, состоялась два года назад. Пришло время обновить информацию.
За два года изменений накопилось немного:

  • Supermicro отказывается от проприетарного "перевернутого" форм-фактора UIO для контроллеров. Подробности будут ниже.
  • LSI 2108 (SAS2 RAID с 512МБ кэша) и LSI 2008 (SAS2 HBA с опциональной поддержкой RAID) по-прежнему в строю. Продукты на этих чипах, как производства LSI, так и от OEM партнеров, достаточно хорошо отлажены и по-прежнему актуальны.
  • Появились LSI 2208 (тот же SAS2 RAID со стеком LSI MegaRAID, только с двухъядерным процессором и 1024МБ кэша) и LSI 2308 (усовершенствованная версия LSI 2008 с более быстрым процессором и поддержкой PCI-E 3.0).

Переход от UIO к WIO

Как вы помните, платы UIO - это обычные платы PCI-E x8, у которых вся элементная база находится с обратной стороны, т.е. при установке в левый райзер оказывается сверху. Понадобился такой форм-фактор для установки плат в самый нижний слот сервера, что позволяло разместить четыре платы в левом райзере. UIO - это не только форм-фактор плат расширения, это еще и корпуса, рассчитанные на установку райзеров, сами райзеры и материнские платы специального форм-фактора, с вырезом под нижний слот расширения и слотами для установки райзеров.
У подобного решения существовало две проблемы. Во-первых, нестандартный форм-фактор плат расширения ограничивал выбор клиента, т.к. под в UIO форм-факторе существует лишь несколько контроллеров SAS, InfiniBand и Ehternet. Во-вторых - недостаточное количество линий PCI-E в слотах под райзеры - всего 36, из них на левый райзер - всего 24 линии, что явно мало для четырех плат с PCI-E x8.
Что же такое WIO? Сначала оказалось, что существует возможность размещения четырех плат в левом райзере без необходимости "переворачивания бутерброда маслом вверх", и появились райзеры под обычные платы (RSC-R2UU-A4E8+). Затем была решена проблема нехватки линий (теперь их 80) путем использования слотов с большей плотностью контактов.
UIO райзер RSC-R2UU-UA3E8+
WIO райзер RSC-R2UW-4E8

Результаты:
  • Райзеры WIO нельзя установить в материнские платы, рассчитанные на UIO (например, X8DTU-F).
  • Райзеры UIO нельзя установить в новые платы, рассчитанные на WIO.
  • Существуют райзеры под WIO (на материнской плате), имеющие слот UIO для карточек. На тот случай, если у вас остались UIO контроллеры. Они используются в платформах под Socket B2 (6027B-URF, 1027B-URF, 6017B-URF).
  • Новых контроллеров в форм-факторе UIO появляться не будет. Например, контроллер USAS2LP-H8iR на чипе LSI 2108 будет последним, LSI 2208 под UIO не будет - только обычный MD2 с PCI-E x8.

Контроллеры PCI-E

В данный момент актуальными являются три разновидности: RAID контроллеры на базе LSI 2108/2208 и HBA на базе LSI 2308. Существует еще загадочный SAS2 HBA AOC-SAS2LP-MV8 на чипе Marvel 9480, но о нем писать из-за его экзотичности. Большинство случаев применения внутренних SAS HBA - это СХД с ZFS под FreeBSD и различными разновидностями Solaris. Благодаря отсутствию проблем с поддержкой в этих ОС выбор в 100% случаев падает на LSI 2008/2308.
LSI 2108
Помимо UIO'шного AOC-USAS2LP-H8iR, который упомянут в предыдущем обзоре добавились еще два контроллера:
AOC-SAS2LP-H8iR
LSI 2108, SAS2 RAID 0/1/5/6/10/50/60, 512МБ кэш, 8 внутренних портов (2 разъема SFF-8087). Является аналогом контроллера LSI 9260-8i, но произведен Supermicro, есть мелкие различия в разводке платы, цена на $40-50 ниже LSI. Поддерживаются все дополнительные опции LSI: активация Recovery, FastPath и CacheCade 2.0, батарейная защита кэша - LSIiBBU07 и LSIiBBU08 (сейчас предпочтительнее использовать BBU08, у него расширен температурный диапазон и в комплекте идет кабель для удаленного монтажа).
Несмотря на появление более производительных контроллеров на базе LSI 2208, LSI 2108 все еще остается актуальным благодаря снижению цены. Производительности с обычными HDD хватает в любых сценариях, предел по IOPS для работы с SSD - 150000, что для большинства бюджетных решений более чем достаточно.
AOC-SAS2LP-H4iR
LSI 2108, SAS2 RAID 0/1/5/6/10/50/60, 512МБ кэш, 4 внутренних + 4 внешних порта. Является аналогом контроллера LSI 9280-4i4e. Удобен для использования в экспандерных корпусах, т.к. не придется выводить выход с экспандера наружу для подключения дополнительных JBOD'ов, или в 1U корпусах на 4 диска при необходимости обеспечить возможность наращивания числа дисков. Поддерживает те же BBU и ключи активации.
LSI 2208
AOC-S2208L-H8iR
LSI 2208, SAS2 RAID 0/1/5/6/10/50/60, 1024МБ кэш, 8 внутренних портов (2 разъема SFF-8087). Является аналогом контроллера LSI 9271-8i. LSI 2208 - это дальнейшее развитие LSI 2108. Процессор стал двухъядерным, что позволило поднять предел производительности по IOPS'ам аж до 465000. Добавилась поддержка PCI-E 3.0 и увеличился до 1ГБ кэш.
Контроллер поддерживает батарейную защиту кэша BBU09 и флеш-защиту CacheVault. Supermicro поставляет их под партномерами BTR-0022L-LSI00279 и BTR-0024L-LSI00297, но у нас проще приобрести через канал продаж LSI (вторая часть партномеров - это и есть родные партномера LSI). Ключи активации MegaRAID Advanced Software Options тоже поддерживаются, партномера: AOC-SAS2-FSPT-ESW (FastPath) и AOCCHCD-PRO2-KEY (CacheCade Pro 2.0).
LSI 2308 (HBA)
AOC-S2308L-L8i и AOC-S2308L-L8e
LSI 2308, SAS2 HBA (с IR прошивкой - RAID 0/1/1E), 8 внутренних портов (2 разъема SFF-8087). Это один и тот же контроллер, поставляется с разными прошивками. AOC-S2308L-L8e - IT firmware (чистый HBA), AOC-S2308L-L8i - IR firmware (с поддержкой RAID 0/1/1E). Разница в том, что L8i может работать с IR и IT прошивками, L8e - только с IT, прошивка в IR заблокирована. Является аналогом контроллера LSI 9207-8i. Отличия от LSI 2008: побыстрее чип (800Мгц, как следствие - поднялся лимит по IOPS до 650тыс.), появилась поддержка PCI-E 3.0. Применение: программные RAID'ы (ZFS, например), бюджетные серверы.
На базе этого чипа не будет дешевых контроллеров с поддержкой RAID-5 (iMR стек, из готовых контроллеров - LSI 9240).

Набортные контроллеры

LSI 2208 на материнской плате X9DRH-7F
В последних продуктах (платах X9 и платформах с ними) Supermicro обозначает наличие SAS2 контроллера от LSI цифрой "7" в партномере, цифрой "3" - чипсетный SAS (Intel C600). Вот только не делается различий между LSI 2208 и 2308, так что будьте внимательны при выборе платы.
  • Распаянный на материнских платах контроллер на базе LSI 2208 имеет ограничение - максимум 16 дисков. При добавлении 17 он просто не определится, и в логе MSM вы увидите сообщение "PD is not supported". Компенсацией за это служит существенно более низкая цена. Например, связка "X9DRHi-F + внешний контроллер LSI 9271-8i" обойдется дороже примерно на $500, чем X9DRH-7F с LSI 2008 на борту. Обойти это ограничение перепрошивкой в LSI 9271 не получится - прошивка другого SBR блока, как в случае с LSI 2108 не помогает.
  • Еще одна особенность - отсутствие поддержки модулей CacheVault, на платах банально не хватает места под специальный разъем, так что поддерживается только BBU09. Возможность установки BBU09 зависит от используемого корпуса. Например, LSI 2208 используется в блейд-серверах 7127R-S6, разъем для подключения BBU там есть, но для монтажа самого модуля нужен дополнительный крепеж MCP-640-00068-0N Battery Holder Bracket.
  • Прошивку SAS HBA (LSI 2308) придется теперь выполнять в среде UEFI, так как в DOS на любой из плат с LSI 2308 не запускается sas2flash.exe с ошибкой "Failed to initialize PAL".

Контроллеры в Twin и FatTwin платформах

Некоторые 2U Twin2 платформы существуют в трех вариантах, с тремя видами контроллеров. Например:
  • 2027TR-HTRF+ - чипсетный SATA
  • 2027TR-H70RF+ - LSI 2008
  • 2027TR-H71RF+ - LSI 2108
  • 2027TR-H72RF+ - LSI 2208
Подобное многообразие обеспечивается за счет того, что контроллеры размещены на специальной объединительной плате, которая подключается в спецслот на материнской плате и в дисковый бэкплейн.
BPN-ADP-SAS2-H6IR (LSI 2108)

BPN-ADP-S2208L-H6iR (LSI 2208)

BPN-ADP-SAS2-L6i (LSI 2008)

BPN-ADP-E16-L (LSI 2008+ экспандер для подключения 12 дисков к каждому узлу в 2U Twin платформах)

Корпуса Supermicro xxxBE16/xxxBE26

Еще одна тема, имеющая прямое отношение к контроллерам - это модернизация корпусов с экспандерными бэкплейнами. Появились разновидности с дополнительной корзиной на два 2,5" диска, расположенной на задней панели корпуса. Назначение - выделенный диск (или зеркало) под загрузку системы. Конечно, систему можно грузить, выделив небольшой том от другой дисковой группы или с дополнительных дисков, закрепленных внутри корпуса (в 846-х корпусах можно установить дополнительный крепеж для одного 3,5" или двух 2,5" дисков), но обновленные модификации гораздо удобнее:



Причем эти дополнительные диски необязательно подключать именно к чипсетному SATA контроллеру. При помощи кабеля SFF8087->4xSATA можно подключиться к основному SAS контроллеру через выход SAS экспандера.
P.S. Надеюсь, что информация была полезной. Не забывайте, что наиболее полную информацию и техническую поддержку по продукции Supermicro, LSI, Adaptec by PMC и других вендоров вы можете получить в компании True System.