Intel VROC — программный чипсетный RAID для накопителей NVMe и SATA. Ранее программный RAID для SATA называется RSTe (Intel Rapid Storage Technology Enterprise), в прошлом году обе технологии решено было объединить под общим названием 5 . В этой статье речь пойдёт именно о массивах из накопителей NVMe на платформе Intel Purley (чипсеты Intel C62x и процессоры Intel Xeon Scalable).
Для начала стоит разобраться с терминологией:
Домен VMD и контроллер VMD. VMD расшифровывается как Volume Management Device, «устройство управления томами». Контроллер PCIe, встроенный в процессоры Intel Xeon Scalable, разделён на три домена по 16 линий PCIe — итого 48 линий.
Наличие VMD не является обязательным условием для работы VROC. Если у вас есть сервер на базе одной из предыдущих платформ без VMD (например, Grantley, Mehlow, Tatlow), то использовать VROC для NVMe накопителей можно, причём без покупки каких либо дополнительных ключей. Не будет поддержки загрузочных массивов, горячего подключения/отключения и управления индикацией. Поддерживаются только накопители производства Intel 5 .
intel(R) matrix storage manager option Rom v8.0.0.1039 ich9m-e (c) 2003-08 intel corporation all rig
VROC write hole. RAID-5 и RAID-6 в традиционной реализации 1 подвержены проблеме так называемого write hole. При записи неполного страйпа в такие массивы необходимы дополнительные дисковые операции, с пересчётом и записью новых страйпов с контрольными суммами. Сбой накопителей или аварийное отключение питания в этот момент может привести к нарушению целостности данных, если не будет обновлён страйп с контрольной суммой или один из страйпов с данными.
Одним из решений этой проблемы является предварительная запись в энергонезависимую память. Но в случае программных RAID без дополнительного оборудования остаётся полагаться на другие способы. Intel упоминает о том, что в прежних релизах VROC использовалось журналирование страйпов с данными и чётностью, но в последних релизах используется другой алгоритм, суть которого не раскрывается:
The previous Intel VROC mechanisms implemented to address the RAID Write Hole condition encompassed a combination of Dirty Stripe Journaling and Partial Parity Logging. This implementation only partially closed the RAID Write Hole. With the Intel VROC VC product family, the RWH solution included will completely close this condition (when RWH is enabled). When RWH is disabled, the old implementation (using Dirty Stripe Journaling and Partial Parity Logging) is used.
Поддержка VROC операционными системами
Отдельные документы Intel по настройке VROC в Windows и Linux находятся здесь.
Помимо VROC GUI и CLI в Windows, а также mdadm в Linux для управления VROC у Intel есть Accelerated Storage Manager (ASM) — web-интерфейс и RESTful API с очень подробной документацией.
Windows
VROC прозрачен для Intel SSD Datacenter Tool, утилиты для просмотра статуса и обновления прошивок накопителей Intel. У накопителей меняется лишь Device Path:
Технологии Raid массивов. Что делать, если из raid массива выпал диск?
Работают ли таким же образом утилиты других производителей (например, Samsung SSD DC Toolkit), проверить пока что не удалось.
Для Windows понадобится свежий драйвер вместе с утилитой управления — их можно скачать с Intel Download Center. Для владельцев SSD производства Intel мы советуем заодно скачать свежую версию Intel SSD Datacenter Tool, чтобы обновить прошивку.
Установка драйвера и GUI ничем не отличается от привычного RSTe. Обратите внимание, что все массивы, кроме RAID-0 требуют инициализации. Запустить её можно, выбрав соответствующий пункт в свойствах тома.
Под Windows можно воспользоваться триальным периодом продолжительностью 90 дней. Для этого нужно просто установить VROC GUI и создать массив. Функционал будет соответствовать Premium-ключу. Управление томами будет доступно только через GUI, в интерфейсе EFI HII вы их не увидите. Это означает, во-первых, что в триальном режиме с VROC-томов нельзя будет загрузиться, во-вторых — не стоит размещать на таких томах критичные данные, так как можно пропустить окончание триального периода и потерять доступ к томам.
Linux
- Возможность создавать массивы можно из UEFI HII и UEFI shell, то есть без участия операционной системы. Это не столь важный функционал, так как для автоматизации развёртывания можно использовать скрипты в live-образе Linux.
- Управление через AST. Это действительно удобно.
- Загрузочные массивы. На самом деле, Linux можно заставить грузиться с обычного программного массива любого уровня, но это требует дополнительных действий (например, при установке на RAID-5 или 6 раздел boot обычно помещают на отдельное зеркало на той же дисковой группе). С VROC благодаря поддержке в BIOS процесс установки ОС на RAID осуществляется гораздо проще.
- Поддержка. Intel уделаяет большое внимание тестированию различных серверных накопителей на платформе Purley и даже обещает предоставлять патчи в случае появления каких-либо проблем у конкретного пользователя (при использовании поддерживаемых накопителей и поддерживаемых дистрибутивов).
Рекомендуется использовать ядро версии 4.15 и новее 3 .
В целом работа VROC в Linux ничем не отличается от обычного mdraid с форматом метаданных imsm (в честь Intel Matrix Storage Manager), обеспечивающий совместимость массивов с Windows в связке с RSTe/VROC. Для управления используется тот же mdadm, для мониторинга — mdmon. Есть лишь несколько специфических команд. Например, mdadm —detail-platform позволяет узнать подробности о VROC: версия, поддерживаемые размеры страйпов, максимальное количество дисков и томов.
За работу светодиодов отвечает пакет ledmon, поставляемый Intel.
Драйвер для ESXi
Мы упоминали о том, что VROC не поддерживается в ESXi. Тем не менее, на сайте Intel присутствует документ под названием Intel VMD-enabled NVMe Driver for VMware ESXi User Guide. Действительно, RAID-массивы через VROC в ESXi не поддерживаются (ESXi вообще не поддерживает программный RAID), но VMD в платформах для Intel Xeon Scalable можно и нужно задействовать для корректной работы индикации и горячей замены NVMe-накопителей, для чего требуется специальный драйвер, установка которого описана в этом документе.
Ограничения
Intel периодически обновляет документ под названием Supported Configuration Guide («Руководство по поддерживаемым конфигурациям»). Последняя версия на момент публикации этой статьи — 6.2. Заглянем внутрь.
Поддерживаемые накопители
В начале документа вы найдёте таблицу с поддерживаемыми моделями SSD, как Intel, так и других производителей, с некоторыми интересными примечаниями. Обратите внимание, что для «составных» моделей SSD Intel, которые фактически представляют собой два накопителя на одной плате (P3608, P4608, P4618) поддерживается только RAID-0.
Как и в случае со списками совместимости для SAS-контроллеров — если вашего накопителя нет в списке, то это не обязательно означает, что он не будет работать в составе VROC. Просто эту модель ещё не тестировали в Intel. Стоит ли идти на риск, зависит от конкретного проекта. Если речь идёт о хранении временных файлов на рабочей станции в RAID-0, то есть стабильность работы и целостность данных стоят на втором месте, то установку официально не поддерживаемых накопителей можно считать оправданной.
Поддерживаемые ОС
Из Linux официально поддерживаются последние RHEL и SLES. Но мы уже упоминали о том, что поддержка VROC в Linux реализована в рамках mdraid, так что VROC должен работать на любых современных дистрибутивах. Для Windows указаны все актуальные серверные версии (2012R2 и новее) и Windows 10. Поддержка Windows 7 закончилась с версией VROC 5.6.
Поддерживаемые аппаратные конфигурации
- 4 SSD с прямым подключением на каждый VMD-домен (см. выше определение домена VMD) или 24 SSD на VMD-контроллер при подключении через PCIe-коммутаторы.
- Максимум 48 SSD на платформу.
- Поддерживается каскадное подключение коммутаторов PCIe — максимум 2 уровня.
- Максимум два RAID-тома на массив.
- Том может находится на SSD, подключенных к разным доменам VMD и процессорам.
- Официально не поддерживается загрузка с томов из SSD, подключенных к разным контроллерам VMD.
- RAID-0 и RAID-5: до 24 SSD
- RAID-10: 4 SSD
- RAID-1: 2 SSD
Горячее подключение поддерживается, но Intel рекомендует вставлять накопители по одному, дожидаясь инициализации перед добавлением следующего накопителя 2 .
Производительность
- Windows: 1 млн. IOPS. В своей документации Intel сообщает о причинах этого ограничения и даёт рекомендации по тюнингу параметров драйвера 6, 7 .
- Linux: 2,5 млн. IOPS. Производительность существенно лучше масштабируется в сравнении с Windows. Особенное это заметно при использовании высокопроизводительных накопителей Intel Optane 8 .
Стоит напомнить, что при том уровне производительности, который обеспечивают современные твердотельные накопители, следует учитывать нагрузку на процессор и топологию подключения накопителей. То есть, под систему с несколькими накопителями NVMe стоит выбирать процессоры из расчета не менее 8 ядер с частотой от 2,2 ГГц на каждый 1 млн. IOPS. При тестировании или настройке реальных приложений необходимо учитывать топологию соответствия слотов PCIe и процессоров — обращение к накопителю через контроллер PCIe другого процессора приводит к существенному росту задержек 9 .
VROC на платах Supermicro
Как использовать VROC на материнских платах Supermicro? Для начала необходимо убедиться, что полноценный VROC поддерживается материнской платой. Если это платформа Purley, то есть 1- или 2-процессорная плата под процессоры Intel Xeon Scalable с чипсетом C62x. Бывают и исключения. Например, плата Supermicro X11SRA на базе C422.
VROC поддерживается и тоже требует установки ключа, но только для накопителей M.2, а из массивов — RAID-0 и RAID-1. Если у вас есть плата без VMD, то VROC без возможности загрузки и с некоторыми другими ограничениями всё равно можно будет использовать — см. VROC non-VMD NVMe RAID.
Затем необходимо приобрести один из трёх аппаратных ключей 4 :
- AOC-VROCINTMOD. Ключ для использования исключительно с накопителями производства Intel. Стоит дешевле остальных.
- AOC-VROCSTNMOD. Ключ VROC Standard. Обеспечивает RAID 0/1/10 для любых накопителей (настоятельно рекомендуем следовать списку совместимости).
- AOC-VROCPREMOD. Ключ VROC Premium. То же, что Standard, с добавлением RAID-5.
Устанавливается этот ключ в небольшой белый 4-контактный разъём на материнской плате. На всех поддерживающих VROC платах Supermicro этот разъём имеет маркировку JRK1. Например, на плате X11DDW-L он расположен в левом углу, рядом с угловым вырезом:
Далее необходимо включить VMD для нужных слотов. Загляните в инструкцию к плате — там приведена схема с топологией подключения слотов. Затем в BIOS, в разделе Advanced включите VMD для тех слотов или портов, если PCIe выведен на разъёмы OCuLink, к которым подключены накопители.
В данном случае использовалась плата Supermicro AOC-SHG3-4M2P, позволяющая подключить четыре накопителя M.2 в один слот PCIe x8. Плата была установлена в верхний слот x16 платформы Supermicro 1029P-WTR.
После перезагрузки в разделе Advanced появится пункт Intel Virtual RAID on CPU. Кстати, режимы инициализации всех слотов и режим загрузки необходимо переключить в UEFI вместо Legacy.
UEFI HII для VROC не отличается от такового для RSTe. Создаём массивы, выбираем накопители.
Другие статьи по теме
- Накопители NVMe в серверах Supermicro
- Тестирование Intel Optane P4800X
- Тестирование 2,5″ (U.2) NVMe SSD HGST SN100
Примечания
- На самом деле write hole может возникнуть и в RAID-1 или 10.
- Windows Software User Guide.
- Frequently Asked Questions about Intel Virtual RAID on CPU (Intel VROC)..
- Add-on Card AOC-VROCxxxMOD.
- Intel Virtual RAID on CPU (Intel VROC) name change for 6.0.
- RAID Performance Analysis on Intel VROC
- Intel Virtual RAID on CPU Windows Performance
- Intel Virtual RAID on CPU Linux Performance
- Smart Controller — Performance Guide. Статья посвящена тюнингу производительности SAS RAID контроллеров Adaptec, но общие рекомендации будут полезны для любых систем хранения.
Источник: www.truesystem.ru
Intel matrix storage manager что это за программа и нужна
Русские сисадмины. Присоединяйтесь!
intel matrix storage
Есть сервер с intel matrix storage и стоящим на нем raid 5.
Внезапно рейд рассыпался, а потом не менее внезапно собрался, и судя по всему сейчас репайрится.
Какой программой можно посмотреть текущий статус дисков и всего рейда в сборе?
Ос — windows 2003, 32 бита.
Мамка — supermicro x7dbn, чипсет — intel 5000p. Внешнего контроллера нету, все на встроенном.
УПД: Программа называется intel matrix storage manager 🙂
24 comments —
( 24 comments — Leave a comment )
dadv on July 16th, 2012 12:41 pm (UTC)
Собственно, родной интелевский софт, загружаемый с их сайта. Нынче называется Intel RapidStore, раньше назывался как-то иначе.
alex_djk1 on July 16th, 2012 12:47 pm (UTC)
Пойду качать, спасибо.
alex_djk1 on July 16th, 2012 12:55 pm (UTC)
Гугл вывел на Intel Matrix Storage Manager, который после установки и сказал — rebuilding — 3% (емае, скока ждать :((( ).
Спасиба 🙂
pan_2 on July 16th, 2012 12:43 pm (UTC)
А подумать?
alex_djk1 on July 16th, 2012 12:47 pm (UTC)
На офсайте мамки ваще пусто, тока дрова всякие (не на хранилище).
На офсайте интела тоже не фонтан — дрова для винды и что-то еще невнятное.
Вот выше посоветовали RapidStore.
alex_djk1 on July 16th, 2012 12:55 pm (UTC)
Ну да, седня я какой-то туплок 🙂
ex_leo_sosn on July 16th, 2012 01:13 pm (UTC)
С этим матрикс стораджем рефлекс должен быть на уровне: увидел — переделай. Не можешь — заранее декларируй непричастность к этому серверу, так чтобы есличё — дрючили кого-то другого
alex_djk1 on July 16th, 2012 01:24 pm (UTC)
А что в нем плохого (ну кроме самого рейд-5)? Он совсем проприентарный и нечитаемый по другому или что?
ex_leo_sosn on July 16th, 2012 01:31 pm (UTC)
Он самопроизвольно разваливается, когда он ребилдится у него перформанс падает радикально, что обессмысливает
alex_djk1 on July 16th, 2012 01:39 pm (UTC)
Ну не знаю, как этот (я рядом с этим сервером работаю всего месяц), а предыдущий мой рейд-5 за 2 года развалился один раз.
Хотя с другой стороны, мне и самому не нравится 5. Я за 0/1/10 🙂
ex_leo_sosn on July 16th, 2012 01:50 pm (UTC)
Они вообще не должны разваливаться, ни раз за 2 года, ни за 10. Самопроизвольно развалился рэйд-массив — это П@#$%ц. Щас неохота искать, но я как-то интересовался по практическим соображениям вопросом, почему у меня вылетали всё время диски из массива, где-то в 2009-ом, на форумах интела в соотв. теме был АДЪ. На нормальных рэйдах такого быть не должно.
Кроме этого, производитель не выпускает нормальных inf драйверов, только идиотский ламерский сетуп.ехе. Представьте ситуацию: железо на сервере с 2003 виндой сгорает. Вам надо массивчик мигрировать на другую мать. Ваши действия?
alex_djk1 on July 16th, 2012 01:59 pm (UTC)
Вытаскивать файлы (может получится найти контроллер где погонять или рстудия мне в помощь). Может получится вытащить образ диска. Если нет — ставить новую винду и вуаля — типо все работает.
ex_leo_sosn on July 16th, 2012 02:09 pm (UTC)
Файлы вытащить, конечно, можно, но вообще норма в таком случае это сохранить операционку, причём сохранить без лишних, вызванных применением идиотского решения (каковым является интел матрикс сторадж) задержек.
Это решение для дома и так далее. Да и то, архив домашних фоток я бы этому массиву не доверил, хехе.
(Deleted comment)
ex_leo_sosn on July 16th, 2012 04:30 pm (UTC)
Лучше минуя промежуточные стадии расскажу финал: умельцы из уже установленного ПО матрикс стораджа отковыряли нужные файлы и сделали свою сборку, но это не для всех версий и никакой поддержки
Источник: ru-sysadmins.livejournal.com
Intel matrix storage manager что это за программа и нужна
Intel Matrix Storage Manager
Intel Matrix Storage Manager для интегрированных SATA Raid контроллеров Intel.
Поддерживает SATA RAID 5/10 на платформах настольных ПК, SATA RAID 0/1, AHCI и матрицы RAID на платформах настольных и мобильных ПК.
ОС:
Windows 7 RC1, 32/64-разрядная,
Windows Server 2003 32/64 Edition,
Windows Server 2008 32/64 Edition,
Windows Vista 32/64,
Windows XP Home Edition,
Windows XP Media Center Edition,
Windows XP Professional x86/x64 Edition,
Версия 8.9.4.1004 мультиязычная
Версия 10.8.0.1003 мультиязычная
Версия 11.0.0.1032 мультиязычная
Также в комплект каждого архива входят:
— Утилита конфигурирования 64-bit Floppy Configuration Utility
— Утилита конфигурирования 32-bit Floppy Configuration Utility
Создают дискеты для 32/64-разрядных ОС с файлами технологии Intel Matrix Storage Manager, которые используются для переустановки драйвера RAID (нажмите F6 во время установки Windows).
Поддерживаются чипсеты:
Intel Matrix Storage Manager
Набор микросхем Intel 5000P
Набор микросхем Intel 5000V
Набор микросхем Intel 5000X
Набор микросхем Intel 955X Express
Набор микросхем Intel 975X Express
Набор микросхем Intel E7230
Набор микросхем Intel X58 Express
Набор микросхем Intel серии 3 для настольных и мобильных ПК
Набор микросхем Intel серии 4 для настольных и мобильных ПК
Набор микросхем Intel серии 5 для настольных и мобильных ПК
Набор микросхем Intel серии 7 для настольных и мобильных ПК
Семейство наборов микросхем Intel 945 Express для настольных и мобильных ПК
Семейство наборов микросхем Intel 965 Express для настольных и мобильных ПК
Поддерживаются ИД устройств:
PCI/VEN_8086DEV_27C3 — Intel ICH7R/DH SATA RAID Controller
PCI/VEN_8086DEV_2822 — Intel ICH8R/ICH9R/ICH10R/DO/PCH SATA RAID Controller
PCI/VEN_8086DEV_2681 — Intel ESB2 SATA AHCI Controller
PCI/VEN_8086DEV_27C5 — Intel ICH7M/MDH SATA AHCI Controller
PCI/VEN_8086DEV_2829 — Intel ICH8M-E/M SATA AHCI Controller
PCI/VEN_8086DEV_2929 — Intel ICH9M-E/M SATA AHCI Controller
PCI/VEN_8086DEV_3A22 — Intel ICH10R SATA AHCI Controller
PCI/VEN_8086DEV_3B2F — Intel PCHM SATA AHCI Controller 6 Port
PCI/VEN_8086DEV_1C02 — Intel Desktop/Workstation/Server Express Chipset SATA AHCI Controller
PCI/VEN_8086DEV_1E02 — Intel 7 Series/C216 Chipset Family SATA AHCI Controller
PCI/VEN_8086https://ddriver.ru/kms_downloads+index+action-id+cat-10+ids-47+idd-224.html» target=»_blank»]ddriver.ru[/mask_link]
Intel® Matrix Storage Manager
Программы / Утилиты / Диски и файлы / Intel® Matrix Storage Manager
 |
Скачать Intel® Matrix Storage Manager |  |
Для скачивания будет предоставлена ссылка на дистрибутив программы на сайте компании-разработчика.
Обзор Intel® Matrix Storage Manager (автоматический перевод)
Эта программа, как сообщали, была недоступна регулярно.
Это подразумевает, что мы неспособны обеспечить универсально применимые ссылки на загрузку, информацию о соответствующей версии. Intel Matrix Storage Manager является драйвером устройства, предоставляющим поддержку для Serial ATA (SATA) RAID 5 массивы и массивы SATA RAID 10 на определенном ряду Intel 4, 3 Рядах, 965, 975X, 955X и 945 плат чипсета. Драйвер также предоставляет поддержку AHCI для некоторых 9x базируемые платы чипсета, а также Мобильные чипсеты Intel 915/910.
RAID (Массив независимых дисков с избыточностью) является конфигурацией многократных физических дисков для формирования логических массивов и объемов.
Операционные системы распознают это хранение как объем и не независимые диски. Цель конфигурации RAID состоит в том, чтобы обеспечить отказоустойчивость, не идя на компромисс на производительности. RAID имеет разные уровни конфигурации в зависимости от типа требуемого зеркального отражения данных, и число физических дисков намеревалось использоваться.
Консоль может быть просмотрена в двух режимах Основной и Усовершенствованный.
Основной Режим — показывает упрощенное представление устройств с иллюстрацией конфигурации RAID. Если существует отказ в устройстве, вариант переключиться на усовершенствованный режим показывается.
Усовершенствованный Режим — показывает подробное представление системных устройств как комбинация логических и физических объектов. Логическое представление показывает формирование объемов или разделов RAID, и физическое представление показывает детали жестких дисков и их соединения.
Уровнями RAID 0,1,5 можно управлять, чтобы зеркально отразить и восстановить данные в местах ошибки.
Программное обеспечение способно к отображению информации о Массиве RAID, Объеме RAID, Дисках RAID, Non-RAID-Drives и конфигурациях режима-ACHI SATA.
Это также поддерживает преобразования объема от RAID 0,1 до 5, восстановление и наоборот.
Источник: www.obnovisoft.ru