Amazon Glacier – это безопасный, надежный и чрезвычайно недорогой сервис облачного хранения для архивирования данных и долгосрочного резервного копирования. Glacier предлагает решение для архивирования данных в холодном хранилище, что означает, что хранимые данные недоступны для немедленного извлечения. Вы должны сначала запросить получение данных, и время доступа может варьироваться от минут до нескольких часов, в зависимости от выбранного вами уровня обслуживания.
Хотя хранение в холодильнике поначалу может показаться обременительным, оно также имеет свои преимущества. Никто не сможет случайно изменить важные архивные файлы. Также возможно полностью предотвратить удаление, если это необходимо.
Glacier предназначен для случаев использования, когда поиск происходит редко и является исключительным, и данные будут храниться в течение длительных периодов времени.
Концепции
Если вы раньше не работали со службами AWS или Glacier, полезно сначала изучить несколько концепций:
Introduction to the Amazon S3 Glacier Storage Classes | Amazon Web Services
Регион AWS – именованный набор ресурсов AWS в одной географической зоне. Регионы полностью изолированы друг от друга, поэтому при просмотре своих ресурсов вы увидите только ресурсы, связанные с указанным вами регионом. В терминах Glacier хранимые данные привязаны к определенному региону. Цены на хранение ледников варьируются в зависимости от региона.
Хранилище – контейнер для хранения данных в виде архивов. В хранилище может храниться неограниченное количество архивов. Хранилища и их содержимое доступны только в том регионе, где они были созданы. Права доступа, уведомления и контроль соответствия настраиваются на уровне хранилища.
Архив – архив может представлять собой любые данные, такие как фото, видео или документ, и является базовой единицей хранения в Amazon Glacier. Каждый архив имеет уникальный идентификатор и необязательное описание. Вы можете загрузить один файл в виде архива, но ваши расходы будут ниже, если вы агрегируете свои данные. Архивы, хранящиеся в Amazon Glacier, являются неизменяемыми, то есть архивы могут быть загружены, загружены и удалены, но их нельзя редактировать или перезаписывать, как в таких сервисах, как Dropbox.
(Хранилище) Инвентарь – Консоль AWS покажет вам список хранилищ, но не список содержимого хранилища или инвентаря. Запас должен быть запрошен отдельно для поиска, и выполнение запроса может занять несколько часов.
Задание – получение архива или инвентаризации хранилища (списка архивов) – это асинхронные операции в Amazon Glacier. Сначала вы запускаете задание, а затем загружаете вывод задания после того, как Amazon Glacier завершит задание. Благодаря Amazon Glacier ваши запросы на получение данных помещаются в очередь, и выполнение заданий займет несколько часов.
Конфигурация уведомлений – поскольку для выполнения заданий требуется время, Amazon Glacier поддерживает механизм уведомлений, который уведомляет вас о завершении задания. Вы можете настроить хранилище для отправки уведомлений в раздел Amazon Simple Notification Service (Amazon SNS) после завершения работ. Вы можете указать одну тему SNS для каждого хранилища в конфигурации уведомлений.
Introduction to Amazon Glacier
Более подробную информацию об этих концепциях можно найти здесь: Модель данных Amazon Glacier
Glacier client
Amazon Glacier можно использовать с интерфейсом командной строки Amazon AWS, но использовать его довольно неуклюже, особенно для загрузки архива. Некоторые инструменты резервного копирования поддерживают хранилище на основе Glacier, но те, с которыми я сталкивался, не подходили для резервного копирования на стороне сервера или для программного использования. Amazon AWS Console позволяет, например, создавать и настраивать хранилища, но операции архивирования не поддерживаются.
Клиент Glacier – это простой инструмент, который я создал для работы с Amazon Glacier. Он был разработан для поддержки как интерактивного использования (с Scala REPL), так и программного использования с Scala или Java. Он хорошо подходит для использования на стороне сервера. Glacier клиент построен на Amazon AWS SDK для Java.
Настройка Glacier
Конфигурация AWS
Чтобы использовать Glacier, сначала необходимо настроить учетную запись пользователя AWS и разрешения в консоли AWS следующим образом:
- Создать учетную запись пользователя в AWS IAM (идентификация и управление доступом)
- Предоставьте пользователю следующие разрешения: AmazonGlacierFullAccess, Предоставьте AmazonSQSFullAccess, AmazonSNSFullAccess
- Создать ключ доступа
Некоторые операции, такие как создание инвентаризации хранилища или подготовка архива для загрузки, выполняются асинхронно. Настройка уведомлений будет полезна при выполнении этих операций. Необходимо включить уведомления в хранилище и настроить соответствующую тему SNS в консоли AWS.
Настройка клиента Glacier
Настройте учетные данные AWS
Самый простой способ настроить авторизацию клиента Glacier – настроить «файл профилей учетных данных по умолчанию», как описано в разделе Работа с учетными данными AWS .
Файл профилей представляет собой текстовый файл с простым форматом файла, так что вы можете настроить его только с помощью текстового редактора, следуя инструкциям на вышеупомянутой странице.
Вы также можете настроить файл с помощью интерфейса командной строки AWS, вызвав команду «aws configure» для настройки файла учетных данных по умолчанию, как описано в разделе Параметры конфигурации интерфейса командной строки AWS .
Получить ледник-клиент
Для запуска glacier-client вам необходимо установить Git, sbt и Java JRE.
Источник: coderlessons.com
Как Amazon Glacier считает ваш трафик
Хотелось бы поделиться с вами своим опытом использования Amazon Glacier в личных целях. Может кому этот опыт поможет сэкономить немного денег/времени, если оной обладает тем же уровнем внимательности, что и я.
Про Amazon Glacier много кто, наверное, слышал по постам на хабре, да и в целом в интернетах.
Сервис чудесен, стоит не дорого. Вот я и решил попробывать воспользоваться, прочитав несколько постов, вроди
вышеупомянутых, и бегло перечитав мануал. После заливания ~53GB данных «подождал» пару месяцов, убедившись, что Амазон исправно снимает 53 цента с привязанной карточки, после чего дошли руки собственно протестировать восстановление. Вдохновившись ценой 1 цент за гигабайт, как например, можно понять опять же из поста выше
» Извлечение данных тоже бесплатно в пределах 5% среднемесячного объёма хранения, за превышение лимита берут от $0,01 за гигабайт. «
я поставил свой vault на закачку.
Всё великолепно скачалось, всего за каких-то 15 часов — больше в этот день мой ISP никак не выдавал… Я был расстроен, но что же поделать.
В конце месяца получил инвойс от Амазона:
$0.010 per GB / month 53.666 GB-Mo 0.54$
$0.050 per 1,000 requests 4 Requests 0.01$
$0.010 per GB — Retrieval Fee 9,285.274 GB 92.85$
И того, с налогами и прочими фи — почти 100$. Дёшево, подумал я, доставать данные-то. Сразу в глаза бросилась цифра 9,285.274 GB. Посмотрел Амазоновые логи — всё правильно: скачано только мои 53 гигабайта и только один раз. Звоню в саппорт, обясняю ситуацию, вежливый парень говорит — не волнуйтесь, со всем разберёмся, всё пересчитаем и всё что лишнее — вернём.
ОК.
Через пол часа приходят официальные обяснения:
1. The 53.67GB that you actually downloaded is not factored into the Glacier computation. Glacier calculates the full GB amount that can be retrieved in a month if you were doing it for every hour in the month (that’s where the 9,285.274 GB came from). So no matter how much data you actually stored, when you initiated a single job we billed for 9,285.274GB of storage which is the full amount of storage that could possibly be retrieved in a month.
Here’s the calculation
13,421,772,800 bytes for a single retrieval job (every job is based on four hours for billing purposes) converted to GB = 13,421,772,800/1,024^3 = 12.5GB Peak Retrieval Rate (PRR).
12.5GB x days in the month (744) x retrieval fee ($0.01) = $93.00
По простому — не важно сколько вы скачали. Важно на сколько быстро! И цена — да 1 цент, но за весь теоретический трафик за месяц! Надо отметить что закачку я произвёл числа 27-го.
За более детальной информацией по этому поводу предлогаеться ходить сюда.
В итоге Амазон сказал что в этом месяце у них много таких «невнимательных», поэтому, в порядке исключения, они вернули мне все 93 доллара. Хотя, в принципе, могли и не возвращать — всё написано чёрным по белому и всё посчитано правильно.
RTFM, господа.
- Amazon Web Services
- Восстановление данных
Источник: habr.com
Классы хранилища Amazon S3 Glacier
Классы хранилища Amazon S3 Glacier предназначены специально для архивных данных и обеспечивают максимальную производительность, гибкость при извлечении и минимальную стоимость облачного архивного хранилища. Все классы хранилища S3 Glacier имеют практически неограниченную масштабируемость и надежность на уровне 11 девяток (99,999999999 %). Классы хранилища S3 Glacier предоставляют возможности максимально быстрого доступа к архивным данным и минимальную стоимость облачного архивного хранилища.
Вы можете выбрать любой из трех классов хранилища для архивов, оптимизированных под разные шаблоны доступа и длительность хранения. Для архивных данных, к которым может потребоваться мгновенный доступ (например, для медицинских изображений или геномных исследований) лучше выбрать класс хранилища S3 Glacier Instant Retrieval, который предоставляет для архивов самую низкую стоимость хранения и извлечение за несколько миллисекунд. Для архивных данных, к которым не требуется мгновенный доступ, но может потребоваться ситуативный доступ к огромным наборам данных без дополнительных затрат на их извлечение (например, для резервных копий и при аварийном восстановлении), лучше выбрать класс хранилища S3 Glacier Flexible Retrieval (ранее S3 Glacier), который поддерживает извлечение за несколько минут для небольших объемов и за 5–12 часов для пакетов. Чтобы получить минимальную стоимость длительного хранения архивных копий (например, для обеспечения соответствия требованиям или архивов цифровых СМИ) лучше выбрать класс хранилища S3 Glacier Deep Archive, который предоставляет минимальную стоимость облачного архивного хранилища и возможность извлечения данных не позднее двенадцати часов.
Класс хранилища Amazon S3 Glacier Instant Retrieval
S3 Glacier Instant Retrieval предоставляет самое экономичное хранилище, снижая затраты на 68 % (по сравнению с S3 Standard – Infrequent Access) для данных, которые нужно хранить долго и получать примерно раз в квартал, но с задержкой в несколько миллисекунд. Этот класс рассчитан на данные, к которым редко обращаются, но которые должны быть мгновенно доступны для стандартных примеров использования с высокими требованиями к эффективности, таких как обмен файлами, размещение фотографий, медицинских изображений и историй болезни, ресурсов новостных СМИ, спутниковых и аэрофотоснимков. Хранилище S3 Glacier Instant Retrieval обеспечивает высокую надежность, высокую пропускную способность и низкие задержки на уровне хранилища S3 Standard – IA по более низкой цене за хранение гигабайта данных и по немного более высокой цене за извлечение гигабайта данных. S3 Glacier Instant Retrieval обеспечивает надежность хранения данных на уровне 11 девяток (99,999999999 %) и доступность на уровне 99,9 % за год благодаря использованию избыточного размещения в нескольких физически удаленных зонах доступности AWS.
Класс хранилища Amazon S3 Glacier Flexible Retrieval
S3 Glacier Flexible Retrieval предоставляет экономичное хранилище, снижая затраты на 10 % (по сравнению с S3 Glacier Instant Retrieval) для архивных данных, которые нужно получать пару раз в год в асинхронном режиме. Класс хранилища S3 Glacier Flexible Retrieval (ранее назывался S3 Glacier) идеально подходит для архивных данных, к которым не требуется мгновенный доступ, но может потребоваться ситуативный доступ к огромным наборам данных без дополнительных затрат на их извлечение (например, для резервных копий и при аварийном восстановлении). S3 Glacier Flexible Retrieval предоставляет наиболее гибкий баланс между стоимостью и скоростью доступа, позволяя получать данные за несколько минут или за несколько часов в пакетном режиме. Это идеальное решение для резервного копирования, аварийного восстановления, хранения данных вне предприятия или для других данных, которые нужно иногда получать с задержкой в несколько минут и на хранение которых нет смысла тратить много средств. S3 Glacier Flexible Retrieval обеспечивает надежность хранения данных на уровне 11 девяток (99,999999999 %) и доступность на уровне 99,99 % за год благодаря использованию избыточного размещения в нескольких физически удаленных зонах доступности AWS.
Класс хранилища «Глубокий архив Amazon S3 Glacier»
Глубокий архив S3 Glacier предоставляет самый дешевый вариант хранилища, позволяя снизить затраты на 75 % (по сравнению с гибким извлечением данных S3 Glacier) для архивных данных длительного хранения, доступ к которым требуется не чаще раза в год и может выполняться в асинхронном режиме. Глубокий архив S3 Glacier стоит 0,00099 USD за гигабайт в месяц (или 1 USD за терабайт в месяц), то есть представляет собой самое дешевое хранилище в облаке.
Сервис обходится существенно дешевле, чем хранение и обслуживание данных в локальном хранилище на лентах или в удаленных архивах. S3 Glacier Deep Archive является экономичной и удобной в обслуживании альтернативой магнитным лентам. Он создан для клиентов, которые хранят наборы данных 7–10 лет или дольше, для выполнения потребностей клиента и нормативных требований. Это особенно актуально для таких отраслей, как СМИ и развлечения, здравоохранение, финансовый и государственный сектор. S3 Glacier Deep Archive обеспечивает надежность хранения данных на уровне 11 девяток (99,999999999 %) и доступность на уровне 99,99 % за год благодаря использованию избыточного размещения в нескольких физически удаленных зонах доступности AWS.
Примеры использования
Рабочие процессы с использованием мультимедийных ресурсов
Для ресурсов индустрии СМИ и развлечений (например, видеозаписей или выпусков новостей) требуется надежное хранилище, поддерживающее расширение до нескольких петабайтов. Основная часть таких данных должна быть мгновенно доступна для важных новостных событий, отрисовки видео или подготовки другого контента. Класс хранилища Amazon S3 Glacier Instant Retrieval позволяет архивировать мультимедийное содержимое, не тратя на это лишних средств, но сохраняя возможность доступа к нему за несколько миллисекунд, когда это потребуется. Для дополнительной экономии при хранении таких архивов, к которым не нужен мгновенный доступ, рекомендуем выбрать S3 Glacier или S3 Glacier Deep Archive.
Архивирование данных в сфере здравоохранения
В соответствии с нормативными требованиями медицинские учреждения обязаны хранить данные медицинских карт (например, ЛИС, системы архивации и передачи изображений и электронные медицинские карты). Объем таких данных исчисляется петабайтами. Классы хранилища Amazon S3 Glacier и S3 Glacier Deep Archive позволяют надежно архивировать данные медицинских карт пациентов по очень низкой цене. Класс хранилища Amazon S3 Glacier Instant Retrieval идеально подходит для хранения медицинских изображений и геномных исследований, к которым может потребоваться мгновенный доступ.
Архивирование для соблюдения бизнес-политик, нормативных требований и соответствия требованиям
Многие предприятия в таких сферах, как финансовые сервисы и здравоохранение, для соответствия нормативным требованиям обязаны в течение продолжительного времени хранить архивы. Сервис Amazon S3 Object Lock позволяет установить параметры соответствия политикам, удовлетворяющие SEC Rule 17a‑4(f) или другим требованиям. Политики компаний также могут требовать длительного (несколько лет или неограниченно долго) хранения таких данных, как финансовая и налоговая документация, сведения о сотрудниках и архивы электронных писем. Такое содержимое долгосрочного хранения можно разместить в классах хранилища S3 Glacier.
Хранение научных данных
Исследовательские организации создают, анализируют и архивируют огромные объемы данных, особенно в отраслях геномных исследований и машинного обучения. Класс хранилища Amazon S3 Glacier Instant Retrieval позволит избежать любых сложностей с подготовкой оборудования, управления помещениями и планирования емкости, сохраняя минимальную стоимость хранения и возможность доступа за несколько миллисекунд.
Сохранение цифровых материалов
Библиотеки и правительственные учреждения регулярно сталкиваются с проблемами обеспечения целостности данных в процессе цифровой архивации. В отличие от традиционных систем, в которых могут применяться сложные механизмы проверки данных и ручная коррекция, Amazon S3 систематически осуществляет проверку целостности данных и обладает свойством автоматического самовосстановления. С помощью S3 Lifecyle вы можете перенести данные в более экономичные классы хранилища, чтобы оптимизировать затраты.
Долгосрочное хранение резервных копий
Планы резервного копирования у многих предприятий предусматривают хранение огромных объемов данных в течение нескольких лет в дорогих локальных системах хранения. Классы хранилища S3 Glacier обеспечат хранение архивных данных по минимальной цене, сохраняя возможность доступа к ним по мере необходимости.
Замена магнитных лент
Локальные и внешние ленточные библиотеки снижают затраты на хранение, однако требуют значительных предварительных вложений и особого обслуживания. Классы хранилища Amazon S3 Glacier не требуют никаких предварительных вложений и полностью устраняют затраты на обслуживание оборудования, при этом обеспечивая более быстрый доступ, чем в локальном хранилище магнитных лент.
Источник: aws.amazon.com