Nas программа что это

Хранение данных. Или что такое NAS, SAN и прочие умные сокращения простыми словами

Хранение данных — одно из важнейших направлений развития компьютеров, возникшее после появления энергонезависимых запоминающих устройств. Системы хранения данных разных масштабов применяются повсеместно: в банках, магазинах, предприятиях. По мере роста требований к хранимым данным растет сложность хранилищ данных.

Надежно хранить данные в больших объемах, а также выдерживать отказы физических носителей — весьма интересная и сложная инженерная задача.

Хранение данных

Под хранением обычно понимают запись данных на некоторые накопители данных, с целью их (данных) дальнейшего использования. Опустим исторические варианты организации хранения, рассмотрим подробнее классификацию систем хранения по разным критериям. Я выбрал следующие критерии для классификации: по способу подключения, по типу используемых носителей, по форме хранения данных, по реализации.

По способу подключения есть следующие варианты:

Что такое NAS и зачем он нужен дома?

• Внутреннее. Сюда относятся классическое подключение дисков в компьютерах, накопители данных устанавливаются непосредственно в том же корпусе, где и будут использоваться. Типовые шины для подключения — SATA, SAS, из устаревших — IDE, SCSI.

подключение дисков в сервере

• Внешнее. Подразумевается подключение накопителей с использованием некоторой внешней шины, например FC, SAS, IB, либо с использованием высокоскоростных сетевых карт.

дисковая полка, подключаемая по FC

По типу используемых накопителей возможно выделить:

• Дисковые. Предельно простой и вероятно наиболее распространенный вариант до сих пор, в качестве накопителей используются жесткие диски
• Ленточные. В качестве накопителей используются запоминающие устройства с носителем на магнитной ленте. Наиболее частое применение — организация резервного копирования.
• Flash. В качестве накопителей применяются твердотельные диски, они же SSD. Наиболее перспективный и быстрый способ организации хранилищ, по емкости SSD уже фактически сравнялись с жесткими дисками (местами и более емкие). Однако по стоимости хранения они все еще дороже.
• Гибридные. Совмещающие в одной системе как жесткие диски, так и SSD. Являются промежуточным вариантом, совмещающим достоинства и недостатки дисковых и flash хранилищ.

• Файлы (именованные области данных). Наиболее популярный тип хранения данных — структура подразумевает хранение данных, одинаковое для пользователя и для накопителя.
• Блоки. Одинаковые по размеру области, при этом структура данных задается пользователем. Характерной особенностью является оптимизация скорости доступа за счет отсутствия слоя преобразования блоки-файлы, присутствующего в предыдущем способе.
• Объекты. Данные хранятся в плоской файловой структуре в виде объектов с метаданными.

ТЕБЕ НУЖЕН NAS а ты и не знал. (Apple Home, homebridge, synology, сетевое хранилище)

По реализации достаточно сложно провести четкие границы, однако можно отметить:

• аппаратные, например RAID и HBA контроллеры, специализированные СХД.

RAID контроллер от компании Fujitsu

• Программные. Например реализации RAID, включая файловые системы (например, BtrFS), специализированные сетевые файловые системы (NFS) и протоколы (iSCSI), а также SDS

пример организации LVM с шифрованием и избыточностью в виртуальной машине Linux в облаке Azure

Давайте рассмотрим более детально некоторые технологии, их достоинства и недостатки.

DAS

Direct Attached Storage — это исторически первый вариант подключения носителей, применяемый до сих пор. Накопитель, с точки зрения компьютера, в котором он установлен, используется монопольно, обращение с накопителем происходит поблочно, обеспечивая максимальную скорость обмена данными с накопителем с минимальными задержками. Также это наиболее дешевый вариант организации системы хранения данных, однако не лишенный своих недостатков. К примеру если нужно организовать хранение данных предприятия на нескольких серверах, то такой способ организации не позволяет совместное использование дисков разных серверов между собой, так что система хранения данных будет не оптимальной: некоторые сервера будут испытывать недостаток дискового пространства, другие же — не будут полностью его утилизировать:

Конфигурации систем с единственным накопителем применяются чаще всего для нетребовательных нагрузок, обычно для домашнего применения. Для профессиональных целей, а также промышленного применения чаще всего используется несколько накопителей, объединенных в RAID-массив программно, либо с помощью аппаратной карты RAID для достижения отказоустойчивости иили более высокой скорости работы, чем единичный накопитель. Также есть возможность организации кэширования наиболее часто используемых данных на более быстром, но менее емком твердотельном накопителе для достижения и большой емкости и большой скорости работы дисковой подсистемы компьютера.

SAN

Storage area network, она же сеть хранения данных, является технологией организации системы хранения данных с использованием выделенной сети, позволяя таким образом подключать диски к серверам с использованием специализированного оборудования. Так решается вопрос с утилизацией дискового пространства серверами, а также устраняются точки отказа, неизбежно присутствующие в системах хранения данных на основе DAS. Сеть хранения данных чаще всего использует технологию Fibre Channel, однако явной привязки к технологии передачи данных — нет. Накопители используются в блочном режиме, для общения с накопителями используются протоколы SCSI и NVMe, инкапсулируемые в кадры FC, либо в стандартные пакеты TCP, например в случае использования SAN на основе iSCSI.

Давайте разберем более детально устройство SAN, для этого логически разделим ее на две важных части, сервера с HBA и дисковые полки, как оконечные устройства, а также коммутаторы (в больших системах — маршрутизаторы) и кабели, как средства построения сети. HBA — специализированный контроллер, размещаемый в сервере, подключаемом к SAN.

Через этот контроллер сервер будет «видеть» диски, размещаемые в дисковых полках. Сервера и дисковые полки не обязательно должны размещаться рядом, хотя для достижения высокой производительности и малых задержек это рекомендуется. Сервера и полки подключаются к коммутатору, который организует общую среду передачи данных.

Коммутаторы могут также соединяться с собой с помощью межкоммутаторных соединений, совокупность всех коммутаторов и их соединений называется фабрикой. Есть разные варианты реализации фабрики, я не буду тут останавливаться подробно. Для отказоустойчивости рекомендуется подключать минимум две фабрики к каждому HBA в сервере (иногда ставят несколько HBA) и к каждой дисковой полке, чтобы коммутаторы не стали точкой отказа SAN.

Недостатками такой системы являются большая стоимость и сложность, поскольку для обеспечения отказоустойчивости требуется обеспечить несколько путей доступа (multipath) серверов к дисковым полкам, а значит, как минимум, задублировать фабрики. Также в силу физических ограничений (скорость света в общем и емкость передачи данных в информационной матрице коммутаторов в частности) хоть и существует возможность неограниченного подключения устройств между собой, на практике чаще всего есть ограничения по числу соединений (в том числе и между коммутаторами), числу дисковых полок и тому подобное.

NAS

Network attached storage, или сетевое файловое хранилище, представляет дисковые ресурсы в виде файлов (или объектов) с использованием сетевых протоколов, например NFS, SMB и прочих. Принципиально базируется на DAS, но ключевым отличием является предоставление общего файлового доступа. Так как работа ведется по сети — сама система хранения может быть сколько угодно далеко от потребителей (в разумных пределах разумеется), но это же является и недостатком в случае организации на предприятиях или в датацентрах, поскольку для работы утилизируется полоса пропускания основной сети — что, однако, может быть нивелировано с использованием выделенных сетевых карт для доступа к NAS. Также по сравнению с SAN упрощается работа клиентов, поскольку сервер NAS берет на себя все вопросы по общему доступу и т.п.

Unified storage

Универсальные системы, позволяющие совмещать в себе как функции NAS так и SAN. Чаще всего по реализации это SAN, в которой есть возможность активировать файловый доступ к дисковому пространству. Для этого устанавливаются дополнительные сетевые карты (или используются уже существующие, если SAN построена на их основе), после чего создается файловая система на некотором блочном устройстве — и уже она раздается по сети клиентам через некоторый файловый протокол, например NFS.

SDS

Software-defined storage — программно определяемое хранилище данных, основанное на DAS, при котором дисковые подсистемы нескольких серверов логически объединяются между собой в кластер, который дает своим клиентам доступ к общему дисковому пространству.

Наиболее яркими представителями являются GlusterFS и Ceph, но также подобные вещи можно сделать и традиционными средствами (например на основе LVM2, программной реализации iSCSI и NFS).

N.B. редактора: У вас есть возможность изучить технологию сетевого хранилища Ceph, чтобы использовать в своих проектах для повышения отказоустойчивости, на нашем практическим курсе по Ceph. В начале курса вы получите системные знания по базовым понятиям и терминам, а по окончании научитесь полноценно устанавливать, настраивать и управлять Ceph. Детали и полная программа курса здесь.

Пример SDS на основе GlusterFS

Из преимуществ SDS — можно построить отказоустойчивую производительную реплицируемую систему хранения данных с использованием обычного, возможно даже устаревшего оборудования. Если убрать зависимость от основной сети, то есть добавить выделенные сетевые карты для работы SDS, то получается решение с преимуществами больших SANNAS, но без присущих им недостатков. Я считаю, что за подобными системами — будущее, особенно с учетом того, что быстрая сетевая инфраструктура более универсальная (ее можно использовать и для других целей), а также дешевеет гораздо быстрее, чем специализированное оборудование для построения SAN. Недостатком можно назвать увеличение сложности по сравнению с обычным NAS, а также излишней перегруженностью (нужно больше оборудования) в условиях малых систем хранения данных.

Гиперконвергентные системы

Подавляющее большинство систем хранения данных используется для организации дисков виртуальных машин, при использовании SAN неизбежно происходит удорожание инфраструктуры. Но если объединить дисковые системы серверов с помощью SDS, а процессорные ресурсы и оперативную память с помощью гипервизоров отдавать виртуальным машинам, использующим дисковые ресурсы этой SDS — получится неплохо сэкономить.

Такой подход с тесной интеграцией хранилища совместно с другими ресурсами называется гиперконвергентностью. Ключевой особенностью тут является способность почти бесконечного роста при нехватке ресурсов, поскольку если не хватает ресурсов, достаточно добавить еще один сервер с дисками к общей системе, чтобы нарастить ее. На практике обычно есть ограничения, но в целом наращивать получается гораздо проще, чем чистую SAN. Недостатком является обычно достаточно высокая стоимость подобных решений, но в целом совокупная стоимость владения обычно снижается.

Облака и эфемерные хранилища

Логическим продолжением перехода на виртуализацию является запуск сервисов в облаках. В предельном случае сервисы разбиваются на функции, запускаемые по требованию (бессерверные вычисления, serverless).

Важной особенностью тут является отсутствие состояния, то есть сервисы запускаются по требованию и потенциально могут быть запущены столько экземпляров приложения, сколько требуется для текущей нагрузки. Большинство поставщиков (GCP, Azure, Amazon и прочие) облачных решений предлагают также и доступ к хранилищам, включая файловые и блочные, а также объектные. Некоторые предлагают дополнительно облачные базы, так что приложение, рассчитанное на запуск в таком облаке, легко может работать с подобными системами хранения данных. Для того, чтобы все работало, достаточно оплатить вовремя эти услуги, для небольших приложений поставщики вообще предлагают бесплатное использование ресурсов в течение некоторого срока, либо вообще навсегда.

Из недостатков: могут заблокировать аккаунт, на котором все работает, что может привести к простоям в работе. Также могут быть проблемы со связностью иили доступностью таких сервисов по сети, поскольку такие хранилища полностью зависят от корректной и правильной работы глобальной сети.

Источник: slurm.io

TrueNAS, TrueNAS или OMV? Выбираем софт для сетевого хранилища

При всем богатс­тве выбора готовых сетевых хра­нилищ от круп­ных про­изво­дите­лей энту­зиазм жела­ющих соб­рать и нас­тро­ить свой собс­твен­ный NAS не исся­кает. Сегод­ня, пожалуй, луч­шее вре­мя для того, что­бы это сде­лать.

От воз­можнос­тей бук­валь­но раз­бега­ются гла­за: TrueNAS Core, TrueNAS Scale, openmediavault, а так­же вари­анты для спе­цифи­чес­ких сце­нари­ев исполь­зования Unraid и SnapRAID. Все вари­анты по‑сво­ему хороши и обла­дают при этом сво­ими спе­цифи­чес­кими осо­бен­ностя­ми. Что из это­го подой­дет тебе? Поп­робу­ем разоб­рать­ся.

TrueNAS Scale, TrueNAS Core и openmediavault

Еще недав­но при нас­трой­ке нового сетево­го хра­нили­ща у поль­зовате­лей самос­борных NAS было две основные воз­можнос­ти: FreeNAS и openmediavault. Инте­рес­на исто­рия этих про­ектов. FreeNAS был выпущен в 2005 году раз­работ­чиком Оливье Кошар‑Лаб­бе (Olivier Cochard-Labbé), который со вре­менем потерял инте­рес к про­екту.

К 2009 году единс­твен­ным активным раз­работ­чиком FreeNAS остался Фоль­кер Тай­ле (Volker Theile), пред­ложив­ший перевес­ти про­ект на осно­ву Linux вмес­то исполь­зовав­шей­ся на тот момент m0n0wall, осно­ван­ной, в свою оче­редь, на embedded FreeBSD. Оливье перево­дить про­ект на новые рель­сы отка­зал­ся, и Фоль­кер покинул FreeNAS, соз­дав новую сис­тему openmediavault на осно­ве Debian Linux. Оливье же передал пра­ва на FreeNAS аме­рикан­ской ком­пании iXSystems, которая и занима­ется раз­работ­кой и прод­вижени­ем про­екта.

info

Мир тесен: openmediavault раз­рабаты­вает­ся и под­держи­вает­ся быв­шим клю­чевым раз­работ­чиком FreeNAS.

Со вре­менем под управле­нием iXSystems выш­ла ком­мерчес­кая вер­сия — TrueNAS. Еще чуть поз­же вет­ки бес­плат­ного FreeNAS и ком­мерчес­кого TrueNAS были объ­еди­нены, а сов­сем недав­но уже объ­еди­нен­ный TrueNAS вновь раз­делил­ся на два про­екта: осно­ван­ный на FreeBSD TrueNAS Core и TrueNAS Scale, работа­ющий на Debian 11 (Bullseye).

Та­ким обра­зом, на сегод­няшний день выбор сто­ит меж­ду тре­мя похожи­ми, но очень раз­ными сис­темами: TrueNAS Core, TrueNAS Scale и openmediavault. Для начала при­веду таб­лицу, в которой срав­нива­ются выб­ранные мной клю­чевые парамет­ры трех сис­тем.

(* Миг­рация зашиф­рован­ных GELI томов опи­сана в докумен­тации)

А теперь — рас­шифров­ка таб­лицы.

Разработчик

Обе сис­темы дос­тупны как в виде готовых дис­три­бути­вов, так и в виде откры­того исходно­го кода. Обе вер­сии TrueNAS раз­рабаты­вают­ся и под­держи­вают­ся ком­пани­ей iXSystems, которая зараба­тыва­ет на лицен­зирова­нии ком­мерчес­кой вер­сии сис­темы (в том чис­ле дос­таточ­но круп­ным ком­пани­ям), про­даже готовых NAS с пре­дус­танов­ленной сис­темой TrueNAS и ока­зании услуг под­дер­жки и соп­ровож­дения.

Openmediavault раз­рабаты­вает­ся единс­твен­ным раз­работ­чиком Фоль­кером Тай­ле, а под­дер­жка осу­щест­вля­ется через форум. К сло­ву, мне довелось пооб­щать­ся с Фоль­кером; отме­чу дру­желю­бие и про­фес­сиона­лизм раз­работ­чика, который не получа­ет за работу ни цен­та.

Базовая ОС и внешний вид

Все три сис­темы явля­ются надс­трой­ками над UNIX-подоб­ными сис­темами. TrueNAS Core работа­ет на FreeBSD со все­ми ее осо­бен­ностя­ми (отме­чу монолит­ные обновле­ния и собс­твен­ный, отличный от Linux стек драй­веров), пре­иму­щес­тва­ми и недос­татка­ми (наибо­лее зна­чимы сре­ди них, пожалуй, отсутс­твие под­дер­жки Docker и несов­мести­мость с некото­рыми популяр­ными и недоро­гими 10-гигабит­ными сетевы­ми кар­тами и кар­тами HBA).

TrueNAS Scale, нап­ротив, осно­вана на акту­аль­ной вер­сии Debian 11, что поз­волило добить­ся как под­дер­жки несов­мести­мых с TrueNAS Core карт рас­ширения, так и кон­тей­неров Docker.

По умол­чанию в TrueNAS уста­нов­лена тем­ная тема интерфей­са.

При желании мож­но перек­лючить­ся на свет­лую или соз­дать собс­твен­ную.

OMV тес­но интегри­рует­ся с Debian Linux. OMV 4.x работа­ет поверх Debian 9, акту­аль­ная OMV 5.x исполь­зует Debian 10, а OMV 6 (на сегод­ня име­ет ста­тус тес­товой сбор­ки) — Debian 11.

В OMV 4 и 5 дос­тупна единс­твен­ная свет­лая тема.

В OMV 6.0 интерфейс был изме­нен.

Установка, настройка и особенности организации хранилища

Ус­танов­ка всех опи­сан­ных вари­антов доволь­но прос­та: дос­таточ­но ска­чать дис­три­бутив для нуж­ной плат­формы, соз­дать заг­рузоч­ный накопи­тель и заг­рузить­ся с него. Одна­ко для openmediavault дос­тупен и аль­тер­натив­ный спо­соб уста­нов­ки — поверх уже нас­тро­енной вер­сии Debian (на Debian 9 мож­но уста­новить OMV 4.x, а на Debian 10 — 5.x).

А вот с соз­дани­ем мно­годис­кового мас­сива у неопыт­ного поль­зовате­ля TrueNAS могут воз­никнуть слож­ности. Если OMV исполь­зует стан­дар­тный для Linux и всем при­выч­ный mdadm для соз­дания и управле­ния RAID, то ZFS в TrueNAS — это не толь­ко фай­ловая сис­тема, но и низ­коуров­невый менед­жер мно­годис­ковых кон­фигура­ций. Стан­дар­тные уров­ни RAID в ZFS отсутс­тву­ют; вмес­то них исполь­зуют­ся фун­кци­ональ­ные ана­логи. Так, ана­логом RAID 5 будет RAID-Z1, а ана­логом RAID 6 — RAID-Z2. Z1 и Z2 ука­зыва­ют на уро­вень избы­точ­ности и озна­чают количес­тво дис­ков в мас­сиве, которые могут вый­ти из строя без потери дан­ных: в мас­сиве RAID-Z1 без потери дан­ных может вый­ти из строя любой один диск, а в RAID-Z2 — любые два.

Од­нако на этом слож­ности толь­ко начина­ются. Дис­ковый мас­сив фор­миру­ет один vdev (virtual device); один или нес­коль­ко vdev фор­миру­ют пул (zpool), на котором, в свою оче­редь, мож­но соз­дать один или нес­коль­ко логичес­ких раз­делов (dataset в тер­минах ZFS). (О тополо­гии ZFS почитать мож­но, нап­ример, здесь.)

В срав­нении со стан­дар­тным mdadm такая орга­низа­ция слож­нее для понима­ния, одна­ко она обес­печива­ет отличную гиб­кость. Так, мож­но соз­дать пул из трех дис­ков, сфор­мирован­ных в мас­сив RAID-Z1, а потом рас­ширить его еще тре­мя дис­ками, так­же сфор­мирован­ными в RAID-Z1, при­чем раз­меры изна­чаль­ного и добав­ленно­го поз­днее vdev могут не сов­падать. Это, безус­ловно, удоб­но и соз­дает иллю­зию бес­конеч­ных воз­можнос­тей рас­ширения. Увы, имен­но иллю­зию.

На сегод­няшний день в TrueNAS не под­держи­вает­ся рас­ширение объ­ема хра­нили­ща на уров­не vdev. Ты можешь рас­ширить пул (zpool), добавив к нему еще один vdev, сфор­мирован­ный из любого количес­тва дис­ков в любой под­держи­ваемой кон­фигура­ции, но рас­ширить дос­тупный объ­ем vdev добав­лени­ем еще одно­го дис­ка в уже сущес­тву­ющий vdev или уста­нов­кой в vdev дис­ки боль­шего объ­ема у тебя не получит­ся. Может быть, через нес­коль­ко лет эта воз­можность и появит­ся в TrueNAS, но в ско­ром вре­мени я бы ее не ожи­дал. Под­робно о слож­ностях рас­ширения vdev — в статье ZFS fans, rejoice — RAIDz expansion will be a thing very soon.

Куда устанавливается

Все три сис­темы тре­буют для уста­нов­ки отдель­ный накопи­тель — жес­ткий диск или SSD, сог­лаша­ясь, впро­чем, и на флеш‑накопи­тель или кар­ту памяти (если ты собира­ешь­ся исполь­зовать флеш­ку или кар­ту памяти для уста­нов­ки OMV — не поленись уста­новить пла­гин flashmemory из репози­тория omv-extras; он перене­сет в опе­ратив­ную память час­ти фай­ловой сис­темы, в которые идут час­тые опе­рации записи, и будет син­хро­низи­ровать эти дан­ные при заг­рузке и вык­лючении устрой­ства). У это­го под­хода есть как дос­тоинс­тва (дис­ки с дан­ными смо­гут кор­рек­тно «засыпать», и сис­тема не будет рас­кру­чивать их каж­дый раз, ког­да ей при­дет в голову добавить запись в жур­нал), так и недос­татки (все нас­трой­ки сис­темы про­падут, если выделен­ный накопи­тель вый­дет из строя, а резер­вной копии нас­тро­ек под рукой нет).

Кста­ти, при­ложив опре­делен­ные уси­лия, OMV мож­но уста­новить и на тот же диск, на котором будут хра­нить­ся дан­ные. Так было сде­лано, нап­ример, в сбор­ках для одно­дис­ковых NAS WD MyCloud Home. Под­водных кам­ней здесь тоже хва­тает; в пер­вую оче­редь — труд­но добить­ся качес­твен­ного «засыпа­ния» такого дис­ка.

Совместимость и системные требования

Здесь все прос­то: TrueNAS тре­бует про­цес­сор с архи­тек­турой Intel и как минимум 8 Гбайт опе­ратив­ной памяти. Openmediavault, нап­ротив, пре­дель­но нет­ребова­телен; его мож­но уста­новить даже на Raspberry Pi. По лич­ному опы­ту, он отлично (и очень быс­тро!) работа­ет даже на устрой­ствах ARM с четырь­мя ядра­ми Cortex A53 и 512 Мбайт опе­ратив­ной памяти. OMV мож­но уста­новить даже на такие устрой­ства, как WD MyCloud Home (как одно-, так и двух­диско­вые модели)!

Для чего TrueNAS столь­ко опе­ратив­ной памяти? Раз­гадка кро­ется в воз­можнос­ти дедуп­ликации записы­ваемых дан­ных в реаль­ном вре­мени. Если эта воз­можность вклю­чена, то таб­лицы дедуп­ликации хра­нят­ся в опе­ратив­ной памяти.

ZFS будет счи­тать кон­троль­ные сум­мы записы­ваемых бло­ков дан­ных, и если най­дет­ся сов­падение, то блок не будет записан на диск; вмес­то него добавит­ся ука­затель. Отме­чу, что дедуп­ликация в режиме реаль­ного вре­мени работа­ет доволь­но мед­ленно: ско­рость записи может упасть в 3–5 раз, если мы говорим о дос­таточ­но быс­тром мас­сиве и 10-гигабит­ной сети. Впро­чем, при гигабит­ном соеди­нении падение ско­рос­ти мож­но и не заметить.

Очень час­то мож­но встре­тить рекомен­дацию исполь­зовать TrueNAS сов­мес­тно с памятью с кор­рекци­ей оши­бок (ECC RAM). Здесь нуж­но понимать, что это имен­но рекомен­дация; TrueNAS будет работать и с обыч­ной памятью, не отли­чаясь в этом от любых дру­гих сис­тем. В то же вре­мя ZFS дей­стви­тель­но жад­ная до памяти фай­ловая сис­тема, и пов­режде­ния дан­ных в RAM впол­не могут при­вес­ти к пов­режде­нию дан­ных на дис­ках, в ряде слу­чаев фаталь­ным. Впро­чем, то же самое спра­вед­ливо и для дру­гих сис­тем. Если есть воз­можность исполь­зовать ECC RAM — исполь­зуй, нет — поль­зуйся тем, что есть под рукой.

Поддержка файловых систем

TrueNAS в обо­их вари­антах выделя­ется пол­ноцен­ной под­дер­жкой всех воз­можнос­тей ZFS — как собс­твен­но фай­ловой сис­темы, так и сис­темы управле­ния дис­ками. Сюда вхо­дит соз­дание всех уров­ней хра­нилищ (vdev, zpool, dataset) и управле­ние ими, шиф­рование, снап­шоты и их реп­ликация, а так­же дедуп­ликация дан­ных в режиме реаль­ного вре­мени. Дру­гие фай­ловые сис­темы под­держи­вают­ся TrueNAS пос­толь­ку‑пос­коль­ку, нап­ример для импорта дан­ных с отформа­тиро­ван­ного в такой фай­ловой сис­теме накопи­теля.

Продолжение доступно только участникам

Вариант 1. Присоединись к сообществу «Xakep.ru», чтобы читать все материалы на сайте

Членство в сообществе в течение указанного срока откроет тебе доступ ко ВСЕМ материалам «Хакера», позволит скачивать выпуски в PDF, отключит рекламу на сайте и увеличит личную накопительную скидку! Подробнее

Вариант 2. Открой один материал

Заинтересовала статья, но нет возможности стать членом клуба «Xakep.ru»? Тогда этот вариант для тебя! Обрати внимание: этот способ подходит только для статей, опубликованных более двух месяцев назад.

Олег Афонин

Эксперт по мобильной криминалистике компании «Элкомсофт»

Источник: xakep.ru

8 бесплатных NAS Storage OS / Программное обеспечение для малого бизнеса

Проблема с растущими стартапами или малым бизнесом заключается в масштабируемости, когда они достигают пути, на котором они не являются ни маленькими, ни большими, слишком большими для использования общедоступных облачных хранилищ и слишком маленькими, чтобы позволить себе корпоративные хранилища, такие как Amazon Web Services.

Услуги публичного облачного хранилища начинаются дешево, но могут стать непомерно дорогими по мере того, как будет храниться больше данных.

В зависимости от факторов, не зависящих от вас, производительность может быть ненадежной, в то же время существует высокий риск конфиденциальности и безопасности, связанный с хранением определенных данных на чужом «облачном» компьютере, если вы не платите надбавку за корпоративное шифрование военного уровня.

Здесь в игру вступает Prosumer, он попадает в точку между потребителями и профессионалами. Операционная система хранилища позволяет вам создать собственное «облако» в вашей сети за ваши собственные средства. Поскольку эта ОС использует настольный компьютер в качестве системы хранения, домашним пользователям не имеет смысла запускать ее круглосуточно и без выходных, если вы хотите создать центральную сетевую систему хранения для своего дома, приобретите потребительское хранилище NAS от WD Red, D-Link, Asus или Seagate IronWolf. Без лишних слов, вот некоторые бесплатные ОС с открытым исходным кодом для сетевых хранилищ (NAS) для малого бизнеса.

↓ 01 — FreeNAS [Лучшее]

Программы для Windows, мобильные приложения, игры — ВСЁ БЕСПЛАТНО, в нашем закрытом телеграмм канале — Подписывайтесь:)

Что такое FreeNAS? FreeNAS — это операционная система, которую можно установить практически на любую аппаратную платформу для обмена данными по сети. FreeNAS — это самый простой способ создать централизованное и легкодоступное место для ваших данных. Используйте FreeNAS с ZFS для защиты, хранения, резервного копирования всех ваших данных. FreeNAS используется везде: дома, в малом бизнесе и на предприятии.

Что такое ZFS? ZFS — это корпоративная файловая система с открытым исходным кодом, RAID-контроллер и диспетчер томов с беспрецедентной гибкостью и бескомпромиссным стремлением к целостности данных. Он устраняет большинство, если не все недостатки устаревших файловых систем и аппаратных RAID-устройств. Как только вы перейдете на ZFS, вы больше никогда не захотите возвращаться.

• Шифрование — FreeNAS — первый и единственный проект с открытым исходным кодом, предлагающий шифрование томов ZFS! Во время создания тома доступна опция шифрования всего тома, обеспечивающая стандартное шифрование AES-XTS, которое может быть аппаратно ускорено (если процессор поддерживает AES-NI).
• Репликация — моментальные снимки ZFS — это больше, чем просто локальные резервные копии — их также можно использовать для создания удаленных резервных копий. Репликация моментальных снимков файловой системы в удаленную файловую систему ZFS создает там полную копию.
• Снимки — благодаря ZFS снимки всей файловой системы можно делать и сохранять в любое время. Пока существует моментальный снимок, администраторы могут получать доступ к файлам в том виде, в котором они были на момент создания моментального снимка.
• Защита данных — ZFS предназначена для обеспечения целостности данных сверху вниз. RAID-Z, программный RAID, который является частью ZFS, предлагает защиту с единым контролем четности, как RAID 5, но без уязвимости «дыры для записи» благодаря архитектуре ZFS с копированием при записи.
• Обмен файлами. Обмен файлами — это то, что FreeNAS делает лучше всего. Все основные операционные системы поддерживаются SMB / CIFS (общие файловые ресурсы Windows), NFS (общие файловые ресурсы Unix) и AFP (общие файловые ресурсы Apple), а также FTP, iSCSI (совместное использование блоков), WebDAV и другие методы обмена данными по сети. доступны.

↓ 02 — XigmaNAS / NAS4Free

XigmaNAS / NAS4Free — это дистрибутив NAS с открытым исходным кодом (сетевое хранилище), основанный на FreeBSD. Операционная система NAS4Free может быть установлена ​​практически на любой аппаратной платформе для совместного использования хранилища компьютерных данных по компьютерной сети. «NAS» означает «Сетевое хранилище», а «4Free» означает «Бесплатно и с открытым исходным кодом». NAS4Free — это самый простой и быстрый способ создать централизованный и легкодоступный сервер для всех видов данных, легко доступных для всех видов. сетевых протоколов и из любой сети.

Популярная статья: 4 программы для исправления и восстановления поврежденных видеофайлов MP4 AVI для 32-битных 64-битных Windows 10 и Mac

NAS4Free поддерживает совместное использование в Windows, Apple и UNIX-подобных системах. Он включает ZFS v5000, программный RAID (0,1,5), шифрование диска, отчеты SMART / электронной почты и т. Д. Со следующими протоколами: CIFS / SMB (Samba), контроллер домена Active Directory (Samba), FTP, NFS, TFTP, AFP, RSYNC, Unison, iSCSI (инициатор и цель), HAST, CARP, Bridge, UPnP и Bittorent, которые легко настраиваются через веб-интерфейс. NAS4Free можно установить на Compact Flash / USB / SSD ключ, жесткий диск или загрузить с LiveCD / LiveUSB с небольшим usbkey для хранения конфигурации.

• BitTorrent-клиент (передача)
• Сервер iTunes / DAAP (Firefly)
• Инструмент измерения пропускной способности сети (iPerf3)
• RRDtool
• Сервер UPnP (fuppes)
• Сервер UPnp (MiniDLNA)
• Веб-сервер (lighttpd)

↓ 03 — OpenMediaVault

openmediavault — это сетевое хранилище (NAS) нового поколения, основанное на Debian Linux. Он содержит такие службы, как SSH, (S) FTP, SMB / CIFS, медиа-сервер DAAP, RSync, клиент BitTorrent и многие другие. Благодаря модульной конструкции фреймворка его можно расширять с помощью плагинов.

openmediavault в первую очередь предназначен для использования в небольших офисах или домашних офисах, но не ограничивается этими сценариями. Это простое и легкое в использовании готовое решение, которое позволит каждому устанавливать и администрировать сетевое хранилище без более глубоких знаний.

• ОС Debian Linux с веб-администрированием
• Управление томом и SMART
• Агрегация ссылок
• Wake On LAN
• Поддержка IPv6
• Уведомления по электронной почте
• Обмен файлами

↓ 04 — Openfiler

Openfiler превращает стандартную систему архитектуры x86_64 в полноценное устройство NAS / SAN или шлюз IP-хранилища и предоставляет администраторам хранилища мощный инструмент для удовлетворения растущих потребностей в хранилищах. Openfiler гарантирует, что администраторы хранилища могут наилучшим образом использовать производительность системы и ресурсы емкости хранилища при распределении хранилища и управлении хранилищем в многоплатформенной сети.

Openfiler предоставляет ключевые функции, такие как цель iSCSI для виртуализации, поддержка цели Fibre Channel, репликация на уровне блоков и высокая доступность, которые являются основой любой критически важной для бизнеса среды хранения. Openfiler решает все ключевые проблемы хранения данных:

• Надежность — Openfiler поддерживает программный и аппаратный RAID с функциями мониторинга и оповещения; снимок тома и восстановление
• Доступность — Openfiler поддерживает активную / пассивную кластеризацию высокой доступности, MPIO и репликацию на уровне блоков.
• Производительность — ядро ​​Linux 2.6 поддерживает новейшие ЦП, сетевое оборудование и оборудование для хранения данных.
• Масштабируемость — масштабируемость файловой системы до 60 ТБ +, онлайн-файловая система и поддержка увеличения объема

↓ 05- Rockstor

С легкостью создавайте собственные расширенные NAS и облачные хранилища на базе Linux и BTRFS и управляйте ими. Облачный сервер Rockstor для малого и среднего бизнеса (SMB) — это рекомендуемое решение для организаций, которым требуется несколько сотен терабайт емкости. Ваша организация может полагаться на дорогое общедоступное облачное хранилище, а также хранить большой объем данных локально, что заставляет вас переключаться между локальным и облачным хранилищами, что в конечном итоге приводит к неэффективности и потере производительности. Rockstor в качестве облачного сервера отлично работает с Windows 10 от Microsoft и macOS от Apple.

• Создайте свое частное облачное хранилище и расширьте возможности своей организации с помощью гибридного рабочего процесса, используя лучшее из общедоступного и частного облачного хранилища.
• Полная интеграция с общедоступным облачным хранилищем для повышения эффективности и снижения эксплуатационных расходов
• Масштабируйте свои потребности в хранилище с низкими дополнительными затратами
• Управляйте своим хранилищем практически без опыта работы с ИТ

↓ 06 — ПетаСАН

PetaSAN — это решение Scale-Out SAN с открытым исходным кодом, предлагающее огромную масштабируемость и производительность. PetaSAN использует современные облачные технологии для обеспечения гибкости и маневренности для масштабирования кластера хранения, просто добавляя дополнительные узлы, это можно сделать в любое время и без прерывания работы.

PetaSAN изначально разработан для одной цели: предоставления высокодоступных кластерных дисков iSCSI. В PetaSAN диск iSCSI может иметь множество путей доступа, каждый из которых определяется своим виртуальным IP-адресом. Эти IP-адреса сгруппированы по нескольким узлам хранения.

↓ 07 — ESOS — ОС корпоративного хранилища

Enterprise Storage OS — это квази-дистрибутив Linux, основанный на отличном проекте SCST; его цель — предоставить цели SCSI через совместимую сеть SAN (Fibre Channel, InfiniBand, iSCSI, FCoE). Короче говоря, ESOS® может легко превратить сервер с соответствующим оборудованием в дисковый массив, который находится в вашей корпоративной сети хранения данных (SAN), обеспечивая разделяемые тома хранения на уровне блоков.

Популярная статья: БЕСПЛАТНО RescuePRO Deluxe с флешкой SanDisk и SD-картой

Типичные варианты использования «сервера хранения» ESOS® включают хранилища данных VMFS на VMware ESX / ESXi, тома Windows NTFS, диски Linux и т. Д. Высокопроизводительная, специализированная (наподобие устройства) база Linux, созданная с нуля, не имеющая отношения к другим Дистрибутивы Linux.

• ESOS резидентен в памяти — он загружается с USB-накопителя, и все загружается в ОЗУ. Если флеш-накопитель USB выйдет из строя, ESOS® отправит электронное письмо с предупреждением, и вы можете просто создать новый USB-накопитель ESOS®, а затем заменить неисправный накопитель и синхронизировать конфигурацию.
• Поддержка захвата аварийного дампа ядра. Если произойдет паника в ядре ESOS® Linux, система перезагрузится в аварийный дамп ядра, сохранит файл / proc / vmcore в файловую систему esos_logs и, наконец, перезагрузится обратно в производственное ядро ​​ESOS® — все автоматически. ESOS® отправляет уведомление по электронной почте при запуске системы и проверяет наличие аварийных дампов.
• Два режима работы: Производство (по умолчанию) и Отладка. В режиме «Производство» используется производительная версия SCST (make 2perf). Если вы обнаружите, что у вас возникла проблема и вы не получаете достаточного количества диагностических журналов, просто перезагрузитесь в режиме «Отладка» (полная отладка SCST, сделайте 2debug) и получите дополнительные данные журнала.
• Инструменты настройки интерфейса командной строки корпоративного RAID-контроллера. Популярные инструменты интерфейса командной строки RAID-контроллера являются необязательной установкой с ESOS® (например, LSI MegaRAID, Adaptec AACRAID и т. Д.), Что позволяет настраивать (добавлять / удалять / изменять) тома / логические диски из работающей системы ESOS®.
• ESOS® совместим с большинством популярных корпоративных RAID-контроллеров и серверного оборудования Tier-1. В настоящее время он поддерживает следующие типы внешних целевых устройств: Fibre Channel, iSCSI, InfiniBand (SRP), Fibre Channel over Ethernet (FCoE).
• Текстовый пользовательский интерфейс (TUI), который обеспечивает простой в использовании интерфейс с удобными функциями предоставления хранилища; посмотрите, как это выглядит на вики-странице 02_Screenshots.
• Компоненты кластеризации / высокой доступности (HA): Pacemaker + Corosync + DRBD
• Создавайте расширенные конфигурации блочных устройств внутреннего хранилища с помощью программного обеспечения Linux RAID (md) и Logical Volume Manager (LVM2).
• Создайте виртуальные ленточные библиотеки (на дисках), которые можно использовать в вашей сети хранения данных (SAN). Работает с популярными программными решениями, такими как Symantec NetBackup, Symantec BackupExec, EMC / Legato NetWorker, Bakbone Netvault, Tivoli Storage Manager (TSM) и Bacula. Поддержка VTL в ESOS® стала возможной благодаря проекту mhVTL.
• Встроенная дедупликация данных с помощью lessfs; включает поддержку шифрования и сжатия с использованием QuickLZ, Google Snappy или LZO.
• Поддержка моста Linux Ethernet и связывания сетевых карт (EtherChannel).
• Программные решения для кеширования блочного уровня: bcache, dm-cache / lvmcache и EnhanceIO.
• Многоуровневые устройства хранения с автоматической миграцией и «умным» размещением блоков данных с помощью проекта BTIER.
• Поддержка использования образов Ceph RBD в качестве внутренних устройств хранения.
• Поддержка Advanced Fibre Channel over Ethernet (FCoE): ESOS® включает «программный» целевой драйвер FCoE fcst и имеет возможность (варианты сборки) поддерживать аппаратные цели Emulex OCS FCoE CNA / Chelsio Uwire FCoE CNA.
• Расширенная подсистема хранения ZFS поддерживается как вариант сборки (через проект ZFS в Linux).

↓ 08 — CryptoNAS

Проект CryptoNAS приносит шифрование данных в массы. Live-CD CryptoNAS создан для людей, которые хотят зашифровать свои данные, не беспокоясь о сложных технических проблемах. Компьютер, на котором установлен Live-CD CryptoNAS, работает как файловый сервер (NAS), который шифрует ваши личные данные. Пакет CryptoNAS-Server добавляет удобный веб-интерфейс для шифрования жесткого диска на существующий файловый сервер.

Программы для Windows, мобильные приложения, игры — ВСЁ БЕСПЛАТНО, в нашем закрытом телеграмм канале — Подписывайтесь:)

Источник: bnar.ru

Как превратить ПК в NAS хранилище на базе OpenMediaVault

Можно ли превратить обычный ПК в сетевое NAS хранилище? Давайте разберемся, как установить и настроить операционную систему OpenMediaVault, создать RAID массив, настроить сетевой доступ и как восстанавливать данные с такого устройства.

3855 просмотров

OpenMediaVault (OMV) — это программный NAS, открытая масштабируемая система управления сетевым устройством хранения на основе Debian Linux. Данная система включает в себя возможность создания программного RAID, почтовый клиент, медиа-сервер, BitTorrent-клиент, и другие сервисы: (SSH, (S) FTP, CIFS (Samba), NFS, DAAP, RSYNC). С помощью доступных в репозиторие плагинов его возможности можно расширить.

Одним из главных качеств OpenMediaVault является то, что его можно полностью настроить и управлять им через интерфейс веб-администратора, что делает его готовым к использованию решением, наиболее подходящим для неопытных пользователей Linux или новичков, а также довольно простой системой.

При наличии старого ПК и как минимум трех накопителей, ОС может стать неплохой бюджетной альтернативой полноценного NAS хранилища. А построение RAID массива позволит обеспечить безопасное хранение информации.

Обычно для создания сетевого хранилища на базе OpenMediaVault используют бывшее в употреблении оборудование, что в свою очередь может стать причиной выхода из строя вашего хранилища, в следствии чего можно потерять важную информацию.

После выхода из строя NAS с дисков, собранных в RAID просто достать информацию не получится. Чтобы вернуть данные с накопителей потребуется специализированный софт.

Как установить операционную систему OpenMediaVault

Для начала давайте рассмотрим, как установить OpenMediaVault на обычном ПК. Прежде чем приступить к установке вам потребуется ISO образ загрузочного диска OpenMediaVault.

А если вы планируете собрать RAID массив, то потребуется как минимум 3 жестких диска. На один из которых будет установлена операционная система. После загрузки ISO- образа операционной системы OMV нужно создать загрузочную флешку. Воспользуйтесь любой доступной утилитой для записи образа на диск.

Подключите носитель к ПК, на который нужно установить систему, перезагрузите его и загрузитесь с флешки. После откроется экран установки OpenMediaVault. Выберите из списка меню загрузки – Установить «Install» и нажмите клавишу Enter.

На следующем экране выберите язык, который будет использоваться в процессе установки, и в уже установленной системе, а затем нажмите Enter.

Укажите ваше территориальное расположение и снова Enter. И в следующем окне раскладку клавиатуры.

Далее нужно будет ввести имя компьютера, а также имя домена. И после задать пароль для учетной записи, root-а, и еще раз повторить ввод пароля.

Затем потребуется указать временную зону. И после, начнется процесс установки системы.

Далее в окне настройки менеджера пакетов, нужно указать страну расположения зеркала архива Debian. Выберите из списка наиболее близко лежащую к вам страну, и кликните по ссылке зеркала из данного списка – Продолжить.

В следующем окне система попросит указать устройство для установки системного загрузчика – жмем Enter для подтверждения. Установка завершена. Извлеките установочный носитель и нажмите «Продолжить» для завершения установки и перезагрузки ПК.

Теперь на вашем компьютере установлено хранилище OpenMediaVault NAS. После перезагрузки ОС на экране будет отображаться IP адрес устройства с OMV. Для управления откройте браузер на другом компьютере, введите полученный IP в адресную строку и нажмите Enter.

Для входа в веб-панель администратора нужно ввести логин и пароль. По умолчанию имя – admin и пароль openmediavault.

Как создать RAID массив в OpenMediaVault NAS

Теперь давайте разберем как создать RAID массив на только что созданном сетевом хранилище. После входа в веб-панель OMV, в разделе «Хранилище», откройте – «Менеджер RAID». И для создания нового массива кликните по кнопке «Создать».

Задайте имя, выберите нужный тип RAID, отметьте диски из которых будет состоять будущий массив, и нажмите «Создать», а затем «Да» для подтверждения. После всплывет уведомление о том, что для создания файловой системы на дисковом массиве нужно дождаться окончания инициализации – «Ок». И вверху нажать «Применить» для того чтобы изменения настроек вступили в силу – «Да».

После того, как RAID-массив станет активным, перейдите в «Хранилище» – «Файловые системы», здесь нажмите кнопку «Создать», выберите тип файловой системы для массива, и нажмите кнопку «ОК».

После создания файловой системы выберите массив из списка и вверху нажмите кнопку «Монтировать», чтобы сделать хранилище доступным для системы. И выше чтобы сохранить изменения нажать «Применить».

После того, как RAID-массив был смонтирован в вашей системе, вы можете начать добавление новой учетной записи пользователя, создать общую папку и настроить для нее разрешения, перейдя в меню управления правами доступа.

Как создать папку с общим доступом

Для добавления общедоступной папки в разделе «Управление правами доступа» – откройте «Общие каталоги».

Здесь кликните по кнопке «Добавить», укажите имя сетевой папки, выберите диск, на котором она будет находится, и установите права доступа, чтения и записи, а затем нажмите «Сохранить». После чего папка станет доступна по сети. А чтобы подключиться к ней нужно настроить сетевые протоколы.

Как включить FTP сервер

Для настройки FTP-сервера, его сперва надо включить и выбрать общие папки, к которым будет предоставлен доступ. Переходим в раздел Сервисы – FTP, и включаем данный протокол. Далее настраиваем дополнительные параметры.

Опцию «Требовать допустимую оболочку» лучше выключить, а опцию «Сводка» – включить. Для настройки подключения клиентов без ограничений активируйте Анонимный доступ. После чего любой из пользователей сможет подключиться по FTP к хранилищу.

Если планируется открыть доступ к FTP из Интернета, то его включать не стоит. Назначение остальных настроек вполне ясно из их названия и описания. Теперь можно подключиться к диску и записать на него данные.

Как восстановить данные c RAID массива OpenMediaVault

Сетевое хранилище с OMV обычно используют как бюджетный вариант и собирают на комплектующих уже бывших в использовании, а поэтому такое хранилище может быстрее выйти из строя.

При случайном удалении файлов c диска NAS устройства, форматировании накопителя, неправильной настройке и других ситуаций с потерей данных или пропажи доступа к сетевому диску и повреждения RAID массива восстановить информацию вам поможет только специализированная программа для восстановления данных.

Большинство NAS устройств работают на настроенной версии ОС Linux, и форматирование жестких дисков происходит с использованием файловой системы Ext, а управление системами RAID в большинстве из них основаны на двух технологиях: mdadm и LVM. И при подключении их напрямую к ПК с операционной системой Windows прочесть их не удастся.

Чтобы прочесть накопители и достать из них информацию воспользуйтесь проверенной утилитой для восстановления данных с NAS – Hetman RAID Recovery. Программа поддерживает большинство популярных файловых систем, технологий построения и типов RAID и в большинстве случаев в автоматическом режиме соберет разрушенный RAID.

Полную версию статьи со всеми дополнительными видео уроками смотрите в источнике. А также зайдите на наш Youtube канал, там собраны более 400 обучающих видео.

Источник: vc.ru