По оценкам IDC, объем данных в мире, подлежащих хранению, растет со скоростью около 50 % в год. При этом примерно 80 % из них являются архивными, т. е. должны храниться долгое время и не требуют постоянного доступа к ним. В России эти цифры, возможно, даже больше – вследствие законодательства об информационной безопасности, требующем хранить сетевой трафик в течение длительного времени. Поэтому системы архивации в настоящее время приобретают особую актуальность.
Определения и различия
Термины «архивация данных» (data archiving) и «резервирование данных» (data backup) иногда используются один вместо другого даже профессионалами, хотя между ними есть существенная разница.
Резервирование – это процесс копирования данных, чтобы в случае повреждения исходников информация не терялась и ее можно было быстро восстановить. Резервное копирование – это не только защита от повреждения файла, ошибок пользователя или воздействия злонамеренных программ. Это также план действий в экстренных ситуациях, например, в случае повреждения оборудования (пожар, наводнение и пр.) или его отказа. Если у организации нет резервирования, то ее бизнес подвергается большому риску.
Архивация данных | Библиотеки программ Python | zipfile | Записки программиста
При резервировании особенно важным является время извлечения данных, которое должно быть наименьшим. Основной смысл резервирования – как можно более быстрое восстановление данных в случае их утери или компрометации.
Различие между резервированием и архивированием
Архивирование делается в тех случаях, когда нужно разместить долго неиспользуемые данные в надежном месте на долгий срок. В исходном местоположении они при этом удаляются, чтобы освободить место для поступающих актуальных. Если какие-то данные срочно не нужны и они просто занимают место на диске продуктивного сервера, то такие данные называют «холодными» и их целесообразно отправить в «холодильник», т. е. в архив. Когда эти данные понадобятся, должны быть оптимальные методы их поиска и извлечения из архива. В этом случае извлечение архивированных данных происходит при необходимости.
При архивировании, в отличие от резервирования, срочности при извлечении данных не требуется, и наиболее важными является три вещи: сохранность, дисковое пространство и возможность поиска нужных данных.
Поскольку приоритеты резервирования и архивирования довольно сильно отличаются, то и средства реализации этих целей разные. Например, поскольку при архивировании данным не нужно быть доступными «прямо сейчас», то нет большого смысла хранить их в NAS. Лучше для этого использовать внешние диски или ленты и складировать их в надежном месте.
Резервирование и архивирование не взаимоисключают друг друга
План предприятия по защите данных должен предусматривать оба процесса: как эффективную систему резервирования, так и надежный метод архивирования.
Например, если делать только резервирование, но не делать архивирование, то работающие в организации серверы быстро заполнятся «холодными данными», которые больше не нужны в бизнес-процессе, а их нужно раз за разом резервировать, повышая нагрузку на этот процесс.
Архивация и восстановление данных
С другой стороны, если только архивировать данные, но не резервировать, то в случае какой-то катастрофы бизнес-процесс останавливается на довольно продолжительное время, что может ему существенно повредить. Если на процесс восстановления данных из архива уходит много времени, то компания может просто «вылететь» с динамичного рынка, растеряв клиентов.
Системы резервирования были рассмотрены в этой статье, а здесь мы рассмотрим системы архивирования.
Процесс архивирования
Защита важной бизнес-информации от потерь не только желательна, но и во многих случаях обязательна по законодательным и регуляторным причинам. Для эффективной защиты информации организации должны находить оптимальный баланс между стоимостью архивирования данных и их реальной ценностью. Поэтому подход к реализации архивирования в каждом случае должен включать сбалансированные требования организации в части политик, процедур, персонала и продуктов для реализации процесса архивации данных.
- Политики. В организации должен быть хорошо проработанный план на случай различных катастроф и отказов, приводящих к полной потере данных. В политиках должен быть детально прописан жизненный цикл информации так, чтобы архивные данные с истекшим сроком хранения могли быть быстро и надежно уничтожены и освободили место для новых, подлежащих хранению в течение определенного срока. Должен быть установлен уровень SLA, который определяет, как быстро данные должны быть извлечены и восстановлены из архива в случае необходимости.
- Процедуры. На случай необходимости восстановления данных из архива должно быть детальное описание процедуры такого восстановления с тем, чтобы они были восстановлены целиком и за строго определенный промежуток времени. Эти процедуры должны легко администрироваться в случае распределенной структуры организации, чтобы быстро и безопасно проделать эту работу в случае потери данных в каком-либо филиале или региональном офисе.
- Персонал. Персонал организации, ответственный за архивацию данных, должен иметь возможность централизованного мониторинга системы при минимальном обучении. В его распоряжении должны быть средства оптимизации системы; кроме того, он должен понимать, что данные архивируются в соответствии с их предназначением и установленной процедурой. Персонал должен уметь настраивать систему и быстро находить ошибки, чтобы данные не оставались незащищенными.
- Продукты. Продукты для архивации должны удовлетворять требованиям организации, архитектура должна соответствовать операционной системе и приложениям, используемым в организации. Должна поддерживаться распределенная модель хранения и администрирования. Должна обеспечиваться защита данных при помощи достаточно сильного шифрования и вирусного сканирования. ПО системы архивации следует регулярно обновлять, отслеживать появление обновлений ПО продуктивных серверов и учитывать эти изменения. Должны также обеспечиваться ясные отчеты о работе, состоянии и выдача предупреждений в случае обнаружения сбоев.
Процесс архивирования данных в организации
Решения для архивации
При планировании решения для архивации прежде всего необходимо решить, за какой время требуется получить доступ к архивным файлам. Если допустим срок в несколько минут, то наиболее выгодным решением архивирования будут ленточные библиотеки.
Для быстрого перемещения файлов в архив решения архивации должны разбивать слишком большие файлы на несколько частей, а также объединять множество небольших по размеру файлов в несколько крупных архивных. Профессиональные решения архивации должны обладать функциями поиска нужной информации. Например, это могут быть эффективные индексирующие и поисковые машины. Также есть специализированные решения для индексации аудио- и видеофайлов.
Системы архивации должны обеспечивать автоматическую миграцию хранимых файлов на новые аппаратные платформы, позволяющую копировать данные со старых носителей на новые без прерывания продуктивного процесса. Для гарантии целостности архивных файлов решения архивации должны регулярно проверять данные, хранящиеся на дисковых или ленточных системах хранения, и при обнаружении ошибок создавать новую копию. Большинство решений для архивирования сохраняют не менее двух копий.
Согласно законодательству, необходимо сохранять без изменений такие документы, как квитанции, счета или электронные письма, в течение определенного срока. При этом необходимо обеспечить невозможность их редактирования и круглосуточную доступность, например, для налоговой проверки.
В прошлом для защиты от изменений использовались оптические носители, такие как CD, DVD или магнитооптические (MO) диски. Решения на основе дисковых и ленточных систем WORM (Write Once Read Many) обеспечивают значительно большую гибкость и масштабируемость, чем оптические библиотеки, при этом технология WORM гарантирует невозможность изменения записанных файлов.
Технологии архивации
Технология иерархического хранения HSM (Hierarchical Storage Management) обеспечивает автоматическое перемещение данных на более дешевые носители на основе определенных критериев: например, по частоте обращений к данным или их возрасту. Могут также использоваться пороговые значения – например, при заполнении емкости жесткого диска выше определенного порога происходит перемещение файлов в архив.
Большинство решений HSM имеют несколько уровней, когда часто используемые данные располагаются на «быстрых» СХД, например, SSD. Файлы, востребованные реже, автоматически перемещаются на вторичные диски (Nearline), и затем, если нет частых обращений к ним, они переносятся на недорогие ленточные накопители. В исходном месте хранения при этом ставится маркер со ссылкой на новое расположение, и, в случае необходимости доступа к файлу из архива, система HSM извлекает его на более высокие уровни.
Технология управления жизненным циклом информации ILM (Information Lifecycle Management) имеет больше функций, чем HSM. Набор правил ILM определяет, как необходимо работать с файлами в течение их жизненного цикла. Большинство систем управления документами DMS (Document Management System) и систем управления корпоративным контентом ECM (Enterprise Content Management) поддерживают функции ILM.
Вам может быть интересно:
Источник: itelon.ru
Архивация данных
Архивация данных — это уменьшение физических размеров файлов, в которых хранятся данные, без значительных информационных потерь.
Программы, обеспечивающие архивирование информации корпоративного уровня, предназначены для хранения структурированных и неструктурированных данных компании. Это включает, например, сообщения электронной почты и файлы мультимедиа. Данные могут храниться в помещении на локальных серверах данных или на облачных серверах, или с использованием их комбинации. Эти решения используются во всех подразделениях бизнеса любым сотрудником, поскольку все группы должны архивировать свои данные, как минимум, для целей аудита.
Основные типы архивации:
Обычная/полная архивация. Все выделенные файлы архивируются независимо от значения атрибута архива. После архивации файла атрибут архива сбрасывается. Если затем файл изменяется, включается атрибут архива, показывая, что файл нуждается в архивации.
Копирующая архивация. Архивирование данных производится независимо от значения атрибута архива. В отличие от обычной архивации атрибут архива не изменяется. Это позволяет затем выполнять архивацию другого типа.
Разностная архивация. Создает архивные копии файлов, которые были изменены со времени последней обычной архинации. Наличие атрибута архива показывает, что файл был модифицирован. Только файлы с этим атрибутом будут архивированы. Но атрибут архива при этом не изменяется.
Это позволяет затем выполнять архивацию другого типа.
Добавочная архивация. Создает архивные копии файлов, которые были изменены со времени последней обычной или добавочной архивации. Атрибут архива показывает, что файл был модифицирован. Только файлы с этим атрибутом будут архивированы. После архивации файлов атрибут архива сбрасывается.
Если файл был изменен, для него включается атрибут архива, показывая, что файл требует архивации.
Ежедневная архивация. Сохраняются файлы, измененные за прошедший день. архивация данных не изменяет атрибутов архива файлов. Вы можете выполнять полную архивацию еженедельно и вдобавок к этому ежедневную, разностную и добавочную архивацию. Вы также можете создать расширенный архивный набор для ежемесячных и ежеквартальных архивов, которые будут включать в себя нерегулярно архивируемые файлы.
Чтобы соответствовать категории «Архивация информации о предприятии», продукт должен:
- Хранить как структурированные, так и неструктурированные данные
- Предоставить опции управления данными для архивных данных
- Защитить доступ к архивным данным
Источник: roi4cio.com
Что такое архивация данных на компьютере?
Добрый день. Сегодня дам исчерпывающую информацию об архивах на компьютере, расскажу зачем нужна архивация данных и как сейчас применяется.
По результатам голосования в моей группе Вконтакте, этот вопрос волнует многих пользователей. Вы так же можете присоединиться к голосованию.
При нынешних технологиях, когда информация всё чаще измеряется в терабайтах (1 терабайт (ТБ) — это 1000 гигабайт (ГБ) или 1 000 000 мегабайт (МБ)) несколько мегабайт кажутся незначительными. А ещё в начале 2000-х годов 10-20 мегабайт свободного места на ПК, были достаточно ощутимыми.
Что уж говорить о переносе информации с одного компьютера на другой? Проводного интернета практически ни у кого не было, а вместо USB-флешек использовались дискеты, с объемом памяти в лучшем случае 2.88 МБ, а чаще вообще 1.44 МБ.
Именно для решения этой проблемы и были придумана архивация данных. Она позволяла сжать информацию для хранения или для переноса с одного компьютера на другой.
В современных реалиях, когда высокоскоростной интернет распространился на весь мир и есть в каждом доме, а компьютерная память стала намного доступнее, архивация с целью сжатия стала не так актуальна. Но те, кто использует интернет для работы, постоянно сталкиваются с архивами.
Все дело как раз в том, что современная работа с компьютером, подразумевает постоянное использование интернета. А это в свою очередь вызывает необходимость передачи определенной информации. Вот именно для удобной и эффективной передачи информации на данный момент и используются архивы.
Я подготовил для вас 9 видеоуроков, в которых подробно показал современные возможности работы с архивами.
Источник: vladimir-firsov.ru