Кластерные системы
Parking.ru как облачный провайдер имеет опыт оказания не только услуг с «обычной» надежностью, но и услуг хостинга высокой доступности, построенных на кластеризованной дублированной инфраструктуре.
Имея весомый опыт в построении таких инфраструктурных проектов, мы решили предложить его не только избранным клиентам (которые уже много лет используют эти услуги), а сделать стандартизированное предложение для всех желающих.
Parking.ru запустил целый ряд кластерных решений построенных на надежной дублированной инфраструктуре и имеющих в основе самые разные решения: от виртуальных машин до группы физических серверов. Отдельного внимания заслуживает предложение по ГЕО кластеризации в двух разных ЦОД, объединенных дублированными каналами связи.
Если рассматривать вкратце, то в рамках предложения существуют следующие типовые схемы кластеров:
Что такое кластер? С чем его едят?
Кластеры высокой доступности (High Availability cluster)
Создаются для обеспечения высокой доступности сервиса, предоставляемого кластером. Избыточное число узлов, входящих в кластер, гарантирует предоставление сервиса в случае отказа одного или нескольких серверов. Минимальное количество узлов — два, но может быть и больше.
Обычно High Availability кластер строится для Microsoft SQL server’ов, который поддерживает базы данных интернет проектов. High Availability кластер возможно построить и для Exchange систем.
Существует ещё одна разновидность High Availability SQL кластера — «зеркалирование БД» или database mirroring. Этот вид кластера не требует выделенного дискового хранилища, но для автоматического переключения в случае аварии нужен ещё один SQL сервер — следящий/witness. Такой кластер идеально подходит для WEB приложений и требует меньше затрат на создание.
Балансировка нагрузки (Network Load Balancing, NLB)
Принцип действия NLB-кластеров — распределение приходящих запросов на несколько физических или виртуальных узлов серверов. Первоначальная цель такого кластера — производительность, однако, они используются также для повышения надёжности, поскольку выход из строя одного узла приведет просто к равномерному увеличению загрузки остальных узлов. Совокупность узлов кластера часто называют кластерной фермой. Минимальное количество узлов в ферме — два. Максимальное — 32.
При размещении высоконагруженных web-проектов в режиме NLB строится ферма web-серверов на IIS 7.х
Кластеры на виртуальных машинах
Наиболее доступным и масштабируемым решением является построение кластера на основе виртуальных машин на платформе Hyper-V.
В качестве web-боксов NLB-кластера используются виртуальные машины с установленными на них Windows Web Server 2008 (IIS7.х, пользовательское приложение).
В качестве кластера баз данных используется две виртуальные машины необходимой мощности на Windows Server 2008 Standard Edition и SQL Server 2008 Standard Edition.
Что такое отказоустойчивость? (кластер, сервера, сервисы)
Отказоустойчивое единое хранилище данных на основе Storage System от NetApp или HP.
Для обеспечения бОльшей надежности все узлы кластера располагаются на различных физических серверахузлах кластера.
Масштабируемость решения достигается путем увеличения мощности используемых виртуальных машин (вплоть до 100% мощности физического сервера), а также за счет добавления новых узлов в NLB-кластер.
С использованием средств онлайновой миграции со временем возможен перенос узлов кластера на новые, более современные физические сервера без потери работоспособности и без простоя любого узла.
Данный кластер является лучшим решением в соотношении цена/качество и рекомендуется как для критичных для бизнеса приложений, так и для относительно нагруженных web-проектов (~до 30000-50000 посетителей ежедневно).
Кластеры на физических серверах
Web-проекты с нагрузкой выше 50000 посетителей, проекты со специальными требования по безопасности требуют построения кластерных решений на выделенных серверах без потерь мощностей физических серверов на виртуализацию.
Схема построения таких кластеров аналогична схеме построения кластеров на виртуальных машинах, только в качестве узлов используются выделенные физические серверы.
Геокластеры
При построении локальных кластеров единой точкой отказа системы является сама инфраструктура ЦОД. Parking.ru предлагает уникальное решение на российском рынке — построение географически распределенного кластера, узлы которого располагаются в разных ЦОДах Parking.ru.
Каждый из узлов кластера имеет независимый выход в интернет, но при этом из сети данных кластер выглядят как единый сервер с единым адресом и контентом.
Источник: habr.com
Что такое кластер на VMware и как он устроен?
В начале обозначим, что в рамках данной статьи мы будем понимать под кластером группу хостов (физических серверов) под управлением единого сервиса для совместного выполнения определенных функций как целостная система, связывающаяся через сеть.
На платформе виртуализации VMware vSphere можно построить 2 разновидности кластеров: High-availability кластер (HA) и Distributed Resource Scheduler кластер (DRS).
HA-кластер будет означать, что определенное количество физических серверов объединяется в кластер и на них запускаются виртуальные машины. В случае выхода из строя одного из хостов, виртуальные машины запускаются на других серверах из группы, на которых предварительно было выделено для этого место. В итоге время простоя равно времени загрузки операционной системы «виртуалки».
Если необходимо сократить время простоя до минимального времени рекомендуется использовать технологию VMware Fault Tolerance. Основную идею опции можно описать как создание синхронно работающей реплики виртуальной машины на другом сервере и мгновенное переключение на неё при выходе из строя основного хоста.
Fault Tolerance
Технология VMware DRS используется для выравнивания нагрузки в кластере. Для этого на первоначальном этапе ресурсы кластера объединяются в пул и затем происходит балансировка нагрузки между хостами путем перемещения виртуальных машин. DRS может рекомендовать перемещение с необходимым подтверждением от администратора или делать это в автоматическом режиме.
Происходит это с использованием утилиты «живой миграции» vMotion, благодаря которой миграция не требует остановки ВМ. Пользователи продолжают работать с одним экземпляром ВМ до тех пор, пока данные не будут перенесены на другой хост. В последний момент копируются последние изменения из оперативной памяти, пользователь видит незначительное кратковременное снижение быстродействие системы и через мгновение уже работает с той же ВМ, которая по факту уже находится на другом физическом сервере.
Принцип работы VMware HA + DRS
В случае с кластером VMware группа из 2-х и более серверов ESXi находится под централизованным управлением VMware vCenter Server. Собственно, создавать виртуальные машины можно и на одном хосте с установленным гипервизором VMware ESXi, но возможностей HA, DRS и прочих у вас не будет. Вы просто сможете «нарезать» ваш физический сервер на несколько виртуальных, а его неработоспособность будет означать простой всех ВМ.
Аренда облачного сервера для разработки, хостинга, обученияПодробнее
Чтобы пользоваться всеми кластерными возможностями необходимо использовать платформу VMware vSphere, которая включает в себя сервер управления ESXi-хостами и СХД, так называемый и упомянутый выше, vCenter Server. Также для построения кластера потребуется подключение системы хранения данных. В ней в особенной кластерной файловой системе VMFS хранятся разделы с файлами виртуальных машин, которые доступны для чтения и записи всем ESXi-хостам кластера. По причине хранения в одном месте и независимости виртуальной машины от физической платформы достигается быстрое перемещение и восстановление при помощи HA, DRS, FT, vMotion.
Платформа VMware vSphere
VMware vCenter Server, если говорить упрощенно, является набором служб и базой данных. Каждая из служб занимается своим конкретным списком задач и взаимодействует с другими службами и/или хостами ESXi. vCenter Server – это некий командный пункт, которому подчиняются гипервизоры ESXi на хостах. Общение между ними происходит через хостовых агентов VPXA. Из панели управления vCenter Server можно делать даже больше, чем подключившись напрямую к ESXi. Если в ESXi вы сможете создавать/удалять виртуальные машины, то с помощью vCenter Server вы можете дополнительно создать и настроить для них кластер и все необходимые кластерные опции, часть из которых описана выше.
VMware vCenter Server может работать как на отдельной физическом сервере, так и внутри виртуальной машины на том же хосте, которым сам же и управляет.
Тема безусловно интересная и обширная, однако для развертывания подобных инфраструктур требуются большие материальные затраты. Если мы хотим пользоваться всеми возможностями, которые повышают отказоустойчивость и надежность системы, необходимо приобрести минимум два сервера и СХД, купить лицензию на платформу VMware VSphere у одного из дистрибьюторов. Установка, настройка и администрирование кластера VMware также потребует от вас временных и финансовых вложений.
Что делать в случае, если от вашей IT-инфраструктуры требуется высокая надежность, которую предоставляет платформа VMware vSphere, но нет возможности понести значительные капитальные вложения? Ответом на этот вопрос для многих корпоративных клиентов стало использование облачных технологий, а именно услуга аренды инфраструктуры (IaaS). Облачный провайдер обладает необходимым сетевым и серверным оборудованием, которое расположено в безопасных дата-центрах. IT-специалисты провайдера оказывают техническую поддержку 24*7, а бизнес может воспользоваться всеми преимуществами виртуализации в кластере VMware.
Клиенты не используют VMware vCenter Server. За управление кластерами и физическим оборудованием отвечает провайдер. Клиенты получают значительное количество возможностей управления своим виртуальным ЦОДом с помощью удобного портала самообслуживания VMware vCloud Director. Создание vЦОДа для клиента происходит в кратчайшие сроки, при этом может быть создано необходимое количество виртуальных машин с нужными характеристиками и операционными системами, маршрутизируемые и изолированные сети с любой топологией, настроены гибкие правила Firewall и многое другое.
Покупку минимум двух собственных серверов, СХД и лицензий с необходимостью дальнейшей настройки можно заменить использованием облака. Соглашение с провайдером будет предусматривать уровень доступности услуг (SLA). В случае, с Cloud4Y SLA равен 99,982%. Это означает, что максимально допустимая по соглашению недоступность сервиса составляет не более 15 минут в месяц.
Кроме того, Cloud4Y устанавливает минимально допустимые показатели производительности CPU и RAM системы. Количество MIPS на одно vCPU составляет не менее 2900, что гарантирует клиентам заявленное быстродействие процессора. Также не допускается «переподписка» физической оперативной памяти. Это означает, что выделенная при создании виртуальной машины Configured Virtual RAM, которую будет видеть гостевая ОС, является 100% выделенной физической памятью, которая доступна виртуальной машине в любой момент времени. Это создает условия, при которых облачные серверы по производительности в любой момент времени могут полноценно заменить для клиентов физический сервер с соответствующими характеристиками, а благодаря виртуализации в кластере надежность и отказоустойчивость может оказаться выше, чем при использовании собственного оборудования.
Если вашему бизнесу требуется надежное IT-решение на основе кластера VMware, для принятия решения рекомендуем воспользоваться тестовым доступом к облаку Cloud4Y.
Источник: www.cloud4y.ru
Кластер — что это такое и где его можно применять
Кластер – это многозначный термин, который называет какую-то общность, скопление или упорядоченную группу похожих по смыслу элементов. Для разных сфер он может описывать разные процессы или обозначать совокупность объектов. Чтобы понять смысл понятия лучше отталкиваться от контекста. В нашем обзоре мы коротко опишем основные направления, в котором уместно употребление этого слова и осветим значение слова «кластер» в сфере информационных технологий (IT).
Области, в которых употребляется слово «кластер»
Игровая индустрия . В Сети сейчас набирает популярность игра Cluster Truck (Кластер Трак). Цель игры – дойти до финиша, при этом вам придется передвигаться по крышам грузовиков, не касаясь земли. Сложность состоит в том, что машины постоянно перестраиваются, подрезают друг друга, из-за чего кузов кренится, а игроку сложно устоять на крыше. Скачать игру Cluster Truck можно через Торрент-приложения.
Градостроительство . В общем смысле это обособленный район в пределах мегаполиса с собственной городской инфраструктурой (жилые, социальные, развлекательные, рекреационные и другие объекты). Яркий пример — спортивный кластер в Сочи. Для Зимней Олимпиады 2014 на территории курорта были спроектированы спортивные объекты и гостиницы для размещения спортсменов на достаточно компактной территории.
Производство. В этой сфере так называется комплекс объектов компании, осуществляющий полный цикл производства и размещенный на одной территории. Например, в Подмосковье существует сырный кластер, в который входят порядка 10 разных предприятий.
Экономика. Многие развитые страны ведут государственную кластерную политику, а всемирные организации (например, Азиатский банк развития или ОЭСР) участвуют в финансировании таких проектов. Для государства такие проекты нужны для уверенной конкуренции на международной арене в области инноваций. Полное название таких комплексов звучит так: «Инновационный территориальный кластер». В рамках этих проектов концентрируется научно-технические разработки, промышленное производство и образование.
В России они иначе именуются как «наукограды» и «технопарки». Самый известный в нашей стране технопарк – это «Сколково». Эти центры решают задачи для разных научных областей: медицина, фармацевтика, биотехнологии, нанотехнологии, аэрокосмическое строительство, энергетика и многое другое. Поддержкой государства пользуются более 25 таких проектов в разных регионах от Москвы и Санкт-Петербурга до Дальнего Востока. Полный список центров можно найти на официальных сайтах Министесрства экономческого развития России и Ассоциации кластеров и технопарков России.
Культура . По аналогии с инновационными центрами создаются и творческие объединения. Так, с 2015 года в Крыму проходит фестиваль «Таврида», который вырос до звания «Арт-кластер Таврида». Теперь он включает фестиваль и форум, а к 2022 году планируется завершение строительства «Арт-резиденции Тавриды». Замысел этой программы заключается в развитии у молодежи стремления самореализоваться и сохранять наследие своей страны. Другим примером может быть творческий индустриальный кластер «Октава» в Туле.
Туризм . Кластер в этом контексте означает совокупность на одной территории туристических и рекреационных объектов. Такие центры создаются для развития туризма регионов. Ведь если на какой-то территории расположена только одна (пусть и значимая) достопримечательность, не все туристы готовы ехать смотреть только ее. Особенно если путь не близкий. Однако создание туристического комплекса на основе этого объекта, вкупе с гостиницей и тематическим музеем, увеличивает конкурентность объекта на туристическом рынке.
Лингвистика . Совокупность идиом, относящихся к определенному понятию или действию часто называют кластером. Также так называют упражнение, где учеников просят назвать ассоциации к какому-либо слову, не повторяя уже названных. Языковым кластером называют похожие языки, наречия и диалекты. Ярким примером может быть Восточнославянский кластер, в который входят русский, белорусский и украинский языки.
Проектирование и строительство . В этой области кластером могут называть держатель расстояния для труб и кабелей. Он позволяет предотвратить смещение, загиб и соприкосновение труб. Часто применяются при укладке силовых кабелей в земле, когда при засыпании грунта может произойти сдвиг.
Электротехника . Несколько одинаковых объектов, выполняющих схожие функции, также могут называться этим термином. Например, светодиодный кластер – это совокупность светодиодов одного устройства, объединенных для совместного излучения света.
Значение слова «кластер» в IT
В информационных технологиях значение этого термина наиболее широкое. Кластером называют:
- результаты поисковой выдачи, объединенные общей темой;
- минимальную ячейку (логическую единицу) для хранения информации на жестких дисках;
- несколько компьютеров, объединенных в единую систему для решения совместных задач;
- совокупность серверов, которые функционируют как единый ресурс;
- систему, состоящая из отдельных компонентов, и способную организовывать подачу данных из разных таблиц, для ускорения решения сложных задач.
Подробно мы рассмотрим самые популярные сферы применения этого значения.
Кластер серверов 1С
Чтобы обеспечить активных пользователей бесперебойной работой сервера, создаётся серверная архитектура, выдерживающая высокие нагрузки. Такой системой может стать кластер серверов 1С. Другая альтернатива – отказоустойчивый Microsoft SQL Server или высокодоступный хост Hyper-V.
Программа 1С: Предприятия была создана для автоматизации оборота документов и управления складом. Здесь кластер серверов организует устойчивую к сбоям работу для большого количества пользователей и обширных баз данных. В версии 1С: Предприятия 8.3 есть функция масштабирования.
Она позволяет увеличивать количество активных менеджеров и запускаемых рабочих процессов не создавая сбой. При этом нагрузка между серверами будет распределена равномерно. Управление серверами 1С осуществляет консоль администрирования.
Кластер файловых систем и его размер
Дисковое пространство Windows организуется с помощью кластеров. Их размер – это минимальное значение, которое может быть выделено памятью для хранения данных. Чтобы сохранить файл, системе нужно занять целое число дисковых единиц. При этом какая-то часть памяти в последнем занятой ячейке может остаться не востребованной. Чтобы оптимизировать такую потерю, нужно во время форматирования раздела задать минимальный размер этой ячейки.
Если вы форматируете жесткий диск под файловую систему NTFS, FAT или exFAT, то по умолчанию размер логической единицы равен 4 КБ. Чтобы выбрать размер для файловой системы NTFS, FAT16 или FAT32, то о рекомендуемых параметрах можно узнать на сайте поддержки Microsoft.
Как правило стандартных настроек дискового пространства для обычных пользователей вполне хватает. Но если вы намерены хранить много небольших файлов, то можно уменьшить размер кластера.
Веб-кластер
Для создания сайта с большим объемом информации также используется принцип архитектуры кластера. Это означает такое построение связей, которое даст максимальное быстродействие без зависаний. Такую архитектуру сайта можно встретить у крупных новостных порталов, а также сайтов с большим потоком посещений. Например, промо-сайтов Кока-Колы.
В нашем материале мы постарались в общих чертах определить, что же такое «кластер». Надеемся, вы смогли понять в каком направлении нужно двигаться дальше для получения большей информации.
Источник: strana-it.ru
Как создать отказоустойчивый кластер в ОС Windows Server 2019
В статье приводится краткий обзор создания отказоустойчивого кластера Microsoft Windows (WFC) в ОС Windows Server 2019 или 2016. В результате вы получите двухузловой кластер с одним общим диском и кластерный вычислительный ресурс (объект «компьютер» в Active Directory).
Подготовка
Не имеет значения, какие машины вы используете — физические или виртуальные, главное, чтобы технология подходила для создания кластеров Windows. Перед тем, как начать, проверьте соответствие необходимым требованиям:
Две машины Windows 2019 с установленными последними обновлениями. У них должно быть по крайней мере два сетевых интерфейса: один для производственного трафика и один для кластерного трафика. В моем примере у машин три сетевых интерфейса (один дополнительный для трафика iSCSI). Я предпочитаю статические IP-адреса, но также можно использовать DHCP.
Введите оба сервера в домен Microsoft Active Directory и убедитесь, что они видят общий ресурс хранения, доступный в Disk Management. Пока не переводите диск в режим «онлайн».
Далее необходимо добавить функциональность Failover clustering (Server Manager > Аdd roles and features).
Перезапустите сервер, если требуется. В качестве альтернативы можно использовать следующую команду PowerShell:
Install-WindowsFeature -Name Failover-Clustering –IncludeManagementTools
После успешной установки в меню Start, в Windows Administrative Tools появится Failover Cluster Manager .
После установки Failover-Clustering можно перевести общий диск в режим «онлайн» и отформатировать его на одном из серверов. Не меняйте ничего на втором сервере. Там диск остается в режиме offline.
Обновив Disk Management, вы увидите что-то типа такого:
Server 1 Disk Management (disk status online)
Server 2 Disk Management (disk status offline)
Проверка готовности отказоустойчивого кластера
Перед созданием кластера необходимо убедиться, что все настройки правильно сконфигурированы. Запустите Failover Cluster Manager из меню Start, прокрутите до раздела Management и кликните Validate Configuration.
Выберите для валидации оба сервера.
Выполните все тесты. Там же есть описание того, какие решения поддерживает Microsoft.
После успешного прохождения всех нужных тестов, можно создать кластер, установив флажок Create the cluster now using the validated nodes (создать кластер с помощью валидированных узлов), или это можно сделать позже. Если во время тестирования возникали ошибки или предупреждения, можно просмотреть подробный отчет, кликнув на View Report.
Создание отказоустойчивого кластера
Если вы решите создать кластер, кликнув на Create Cluster в Failover Cluster Manager, потребуется снова выбрать узлы кластера. Если вы используете флажок Create the cluster now using the validated nodes в мастере валидации кластера, выбирать узлы не понадобится. Следующим шагом будет создание точки доступа для администрирования кластера — Access Point for Administering the Cluster. Это будет виртуальный объект, с которым позже будут коммуницировать клиенты. Это объект «компьютер» в Active Directory.
В мастере нужно будет задать имя кластера — Cluster Name и сетевую конфигурацию.
На последнем шаге подтвердите выбранные настройки и подождите создания кластера.
По умолчанию мастер автоматически добавит общий диск к кластеру. Если вы его еще не сконфигурировали, будет возможность сделать это позже.
В результате вы увидите новый объект «компьютер» Active Directory под названием WFC2019.
Вы можете отправить запрос к новому компьютеру, чтобы убедиться в его доступности (если ICMP-запросы разрешены в брандмауере Windows).
В качестве альтернативы можно создать кластер с помощью PowerShell. Следующая команда автоматически добавит подходящее хранилище:
New-Cluster -Name WFC2019 -Node SRV2019-WFC1 , SRV2019-WFC2 -StaticAddress 172.21.237.32
Результат можно будет увидеть в Failover Cluster Manager, в разделах Nodes и Storage > Disks.
Иллюстрация показывает, что в данный момент диск используется в качестве кворума. Поскольку мы хотим использовать этот диск для данных, нам необходимо сконфигурировать кворум вручную. Из контекстного меню кластера выберите More Actions > Configure Cluster Quorum Settings (конфигурирование настроек кворума).
Мы хотим выбрать диск-свидетель вручную.
В данный момент кластер использует диск, ранее сконфигурированный как диск-свидетель. Альтернативно можно использовать в качестве свидетеля общую папку или учетную запись хранилища Azure. В этом примере мы используем в качестве свидетеля общую папку. На веб-сайте Microsoft представлены пошаговые инструкции по использованию свидетеля в облаке.
Я всегда рекомендую конфигурировать свидетель кворума для правильной работы. Так что, последняя опция для производственной среды не актуальна.
Просто укажите путь и завершите мастер установки.
После этого общий диск можно использовать для работы с данными.
Поздравляю, вы сконфигурировали отказоустойчивый кластер Microsoft с одним общим диском.
Следующие шаги и резервное копирование
Одним из следующих шагов будет добавление роли для кластера, но это выходит за рамки данной статьи. Когда кластер будет содержать данные, пора будет подумать о его резервном копировании. Veeam Agent for Microsoft Windows может применяться для резервного копирования отказоустойчивых кластеров Windows с общими дисками.
Мы также рекомендуем осуществлять резервное копирование «всей системы» кластера. При этом выполняется резервное копирование операционных систем узлов кластера. Это поможет ускорить восстановление отказавшего узла кластера, так как вам не придется искать драйверы и прочее при восстановлении.
Руководство по созданию отказоустойчивых кластеров для Windows Server 2019
Ханнес Каспарик
Ханнес Каспарик работает в ИТ-бизнесе с 2004 г. В настоящее время Ханнес — сотрудник отдела Veeam по управлению стратегией развития продуктов.
Источник: www.veeam.com
ПО для кластеризации
Кластеризация приложений (иногда называемая кластеризацией программного обеспечения) — это метод превращения нескольких компьютерных серверов в кластер (группу серверов, которая действует как единая система). Кластерное программное обеспечение установлено на каждом из серверов в группе. Каждый из серверов поддерживает одну и ту же информацию, и вместе они выполняют административные задачи, такие как балансировка нагрузки, определение сбоев узлов и назначение обязанности восстановления после сбоев. Другой метод кластеризации, аппаратная кластеризация, требует, чтобы специализированное оборудование было установлено на одном сервере, который контролирует кластер.
При кластеризации приложений или программного обеспечения некоторые протоколы и административные функции, которые выполнялись бы на каждом отдельном компьютере, выполняются совместной программой. Другими словами, программное приложение является блоком управления для кластера. Это противопоставлено системе, называемой аппаратной кластеризацией, где один отдельный компьютер управляет кластером через свою операционную систему.
Одним из преимуществ кластеризации приложений является масштабируемость систем такого типа. С помощью доступного специализированного программного обеспечения компании могут легко настроить несколько единиц оборудования, которые подчиняются одним и тем же инструкциям и ссылаются на одни и те же наборы информации. ИТ-специалисты называют кластерно-ориентированное приложение приложением, которое может оценивать системы, назначать функции восстановления после отказа или обрабатывать делегирование для обработки транзакций. Это такие принципы, которые поддерживаются кластеризацией приложений.
Источник: roi4cio.com