В постоянном соревновании объемов накопителей и данных, похоже, никогда не будет победителя. Разнообразные архиваторы позволяют экономить пространство на жестких дисках, а в случае применения в Сети, снижают расходы на трафик.
Многие современные архиваторы давно выросли из манежа консольных утилит и стали сложными программными комплексами с графическим интерфейсом и поддержкой множества форматов. В настоящее время существует множество утилит, предназначенных для архивации, но большинство из них использует одинаковые алгоритмы сжатия файлов. При выборе подобной программы надо учитывать два фактора: эффективность работы и совместимость. Эффективность работы архиватора можно оценить, измеряя время упаковки группы файлов и сравнивая размеры полученного архива с исходными файлами. Даже при использовании одинаковых алгоритмов сжатия утилиты работают с разной скоростью, также неодинаковы и размеры создаваемых ими архивов.
Каждый пользователь время от времени сталкивается с разного рода архивами, особенно во время работы в Интернете.
Архивация данных | Библиотеки программ Python | zipfile | Записки программиста
Таблица 1 — Достоинства и недостатки программ-архиваторов
Поддерживаемые форматы архивов
*.rar, *.zip, *.iso, *.jar, *.arj, *.cab, *.lzh, *.ace, *.tar, *.gz, *.uue, *.sfx
Имеет мощный алгоритм сжатия и поддержку многих типов архивов, большое количество настроек
*.ace, *.zip, *.arj, *.lha, *.rar, *.cab, *.arc, *.gz, *.tar, *.jar, *.tgz, *.lha, *.zoo, *.uue, *.iso, *.bz2, *.xxe, *.mim, *.xef
Большое количество настроек, лучшее качество сжатия, возможность просматривать файлы прямо из архива
Малоизвестный формат (не всеми поддерживающийся), не самое быстрое сжатие
Сильная компрессия, возможность выбора любого метода сжатия, высокий коэффициент сжатия, бесплатность, быстрая скорость упаковки/распаковки
Очень скупой диапазон настроек программы, не полностью поддерживаются некоторые форматы, нет возможности создания самораспаковывающихся архивов
Очень хорошо сжимает большие количества файлов одного типа
Поддерживает только родной формат *.uha, медленная скорость работы, не распространен
В процессе упаковки файла в архив засекалось время, за которое создавался архив. Перед архивированием файла, измерялся его исходный объем, а после того как файл был добавлен в архив так же измерялся и объем полученного архива. Измерение объемов проводились для того чтобы вычислить степень сжатия файла. Степень сжатия определялась по формуле:
Vисх — Размер исходного файла, Килобайт
Vкон — Размер конечного файла, Килобайт
R — Степень сжатия
Полученные данные были занесены в таблицу 2 — «Сравнительное тестирование программ-архиваторов». Так же, исходя из полученных данных, были составлены диаграммы (рисунки 6,7,8,9), показывающие какой метод сжатия лучше выбирать для определенного типа файлов.
Система архивации данных и тренды. Урок 1
Рисунок 6 — «Степень сжатия графических данных»
Рисунок 7 — «Степень сжатия текстовых данных»
Рисунок 8 — «Степень сжатия исполняемых данных»
Рисунок 9 — «Степень сжатия аудио данных»
По диаграммам, можно сказать, что лучше всего сжимаются текстовые и графические файлы. Так же при сжатии этих файлов лучше всего использовать максимальный метод сжатия. Исполняемые файлы (*.exe,*.com, *.dll) и аудио файлы, меньше всего подходят для архивирования. Теперь перейдем к самим программам-архиваторам.
С архивацией графического файла лучше всех справились архиваторы WinAce, WinUHA . При архивации текстового файла не у одной из программ не возникло особых проблем, только архиватору WinUHA понадобилось больше времени, чем остальным. Однако же самую высокую степень сжатия текстового файла показал архиватор 7-Zip. С архивацией исполняемого файла не справился ни один из архиваторов, несмотря на то, что для сжатия понадобилось, достаточно большое количество времени, объем этого файла почти не изменился, а в некоторых случаях объем даже увеличился. При архивации аудио данных так же ни один архиватор не показал себя с лучшей стороны.
Таблица 2 — «Сравнительное тестирование программ-архиваторов»
Объем исходного файла (Vисх), Кбайт
Объем сжатого (Vкон), Кбайт
Источник: vuzlit.com
Компьютерная грамотность с Надеждой
Заполняем пробелы — расширяем горизонты!
Создание архивного файла данных на внешнем жестком диске с применением программы архивации WinRAR
Простейший метод архивации данных на внешний жесткий диск методом копирования мы раскритиковали (и, по сути, забраковали) из-за информационного бардака, который всегда имеет место быть на компьютерах пользователей. Даже самых аккуратных пользователей ПК не минует беда сия.
Как быть в этом неизбежном случае?
Возможный вариант состоит в применении программы архивации данных WinRAR, которая обычно имеется в стандартном комплекте программного обеспечения, поставляемого совместно с операционной системой Windows. Эту программу иногда еще называют архиватором.
Суть метода архивации состоит в следующем. Перед архивированием данных на внешний жесткий диск эти данные «сводятся» в один или несколько файлов, сохраняя при этом первоначальную структуру хранения папок и файлов. Это очень удобно, поскольку весь наш информационный бардак мы как бы «цементируем», сохраняем в неизменном виде. Но при этом свои многочисленные файлы и папки мы объединяем в один или несколько архивных файлов.
Программа архивации данных WinRAR позволяет нам произвести своего рода копирование наших папок и файлов как бы внутрь одного или нескольких специальных архивных файлов. То есть архивация проводится не на определенный носитель (флешка, жесткий диск и т.п.), а в файл(ы).
Вместо программы архивации данных WinRar (при ее отсутствии на компьютере) можно установить бесплатную программу 7-Zip, которую можно скачать с официального сайта.
Есть 2 отличия между этими программами:
- программа WinRar создает архив в формате .rar, а программа 7-Zip – в формате .zip,
- программа WinRar является платной (40 дней бесплатного периода), 7-Zip – бесплатная.
Ниже будем рассматривать создание архивного файла на примере программы WinRar. Как это делается? Почти так же, как и обычное копирование папок и файлов. Но только это делается не с помощью стандартного Проводника, а с помощью программы WinRAR. Как?
- Запускаем эту программу («Пуск» — «WinRAR» или «Пуск» и в строке поиска вводим WinRAR).
- Видим окно этой программы, похожее на окно Проводника, но с более развернутыми возможностями.
- Для создания архива с помощью WinRAR нам нужно в окне этой программы выделить интересующие нас папки и файлы (подлежащие архивации).
- А затем нажать значок «Добавить» (на скриншоте он выделен красным прямоугольником в левом верхнем углу), в котором изображено мнемоническое изображение архиватора WinRAR.
- В появившемся окне «Имя и параметры архива» следует указать имя архивного файла (например, «Copy_2011.03.15DISK_D.rar»).
- К имени можно добавить имя диска, на котором этот архив следует разместить.
- Например, если архив мы планируем разместить на внешнем жестком диске F:, то имя архивного файла можно указать как «F:Copy_2011.05.15DISK_D.rar».
- И все – архив будет создан в виде одного единственного файла с именем «DISK_D.rar» в папке «Copy_2011.05.15», который будет расположен на диске F: (в нашем примере – это обозначение внешнего жесткого диска).
Важно повторить, что в этом архивном файле «DISK_D.rar» разместятся одновременно все папки (и все входящие в них подпапки) со всеми входящими в них файлами, которые были отмечены в окне программы WinRAR перед нажатием на кнопку «Добавить».
- А если невозможно в одном окне сразу и одновременно отметить все архивируемые папки и файлы пользователя?
- Это не проблема, архивирование в один и тот же архивный файл (в нашем примере «F:Copy_2011.05.15DISK_D.rar») можно делать многократно. Каждый раз, запуская WinRAR можно отмечать новые папки и файлы, и отправлять их в архив с одним и тем же именем. Указанный архив будет расти и расти по мере добавления в него новых файлом и папок.
Кстати, вот зачем я и предлагаю на внешнем жестком диске при первоначальном форматировании создать файловую систему NTFS, иначе вы будете ограничены размером архива примерно в 2 Гб. Далее придется писать архив уже в другой файл, а это может оказаться неудобно, так как удобнее один архив делать в одном файле.
Вы все еще сомневаетесь? Совершенно напрасно!
Восстановление данных из архивного файла на внешнем жестком диске, созданного с применением архиватора WinRAR
Если пришла пора восстанавливать данные из архива, ранее созданного программой архивации данных WinRAR, то надо
- подключить к ПК внешний носитель, например, внешний жесткий диск, на котором этот архив был записан.
- Затем нужно двойным кликом левой кнопкой мыши щелкнуть по архивному файлу, чтобы его открыть.
- В открывшемся окне программы WinRAR сразу же станут видны все сохраненные в архиве данные. Убеждаемся, что это именно те данные, которые нам нужно восстановить. Выделяем их.
- И нажимаем на кнопку «Извлечь» (выделена на скриншоте красным прямоугольником — вторая слева, рядом с кнопкой «Добавить», которую мы использовали первоначально для создания этого архива).
- После этого все папки и файлы будут восстановлены автоматически.
Следует отметить, что восстановление файлов из архива WinRAR выполняется компьютером намного быстрее, чем создание архива. Почему?
- Потому что при создании архива программа WinRAR стремится уменьшить объем сохраняемой информации с целью экономии места в архиве. А на эту интеллектуальную процедуру так называемого сжатия информации требуется много процессорного времени. Отсюда и замедление при архивации.
Можно ли не восстановить данные из архива, созданного программой WinRAR?
- Конечно, всякое может случиться. Архивные данные могут и не восстановиться, все или частично.
- Причины могут быть самые разные, но все их объединяют уже неоднократно упомянутые законы Мэрфи! Как говорится,просто может не повезти.
Вы все еще сомневаетесь? Совершенно напрасно!
P.S. Статья закончилась, но можно еще почитать:
Источник: www.compgramotnost.ru
Архивируй это: как устроено архивирование файловой системы с помощью Commvault
Раньше было больше распространено так называемое долгосрочное архивирование, когда файлы, которые нужно было хранить по закону несколько лет, сбрасывались на ленты, кассеты при необходимости увозили в специальное хранилище. По праздникам, например, по случаю аудита, кассеты приезжали в офис, и с них доставались нужные файлы. С доступностью дисковых хранилищ появилась возможность организовывать архивирование не только для суперважных бухгалтерских или юридических документов, но и для простых смертных файлов, которые вроде как и удалять нельзя (вдруг пригодятся), но и место на быстрой хранилке под них тратить не хочется.
Такое архивирование обычно работает следующим образом: прописываются специальные правила архивирования (дата последнего открытия, редактирования, создания), и все файлы, которые попадают под эти правила, автоматически перемещаются с продуктивного хранилища в архив на более медленных дисках.
Сегодня как раз хочу рассказать про такой вариант архивирования на примере решения Commvault.
И сразу дисклеймер: архивирование не равно бэкапу
Как можно было уже догадаться, основной профит от архивирования – в экономии места на хранилке. Квартальные отчеты, которые нужны только при прохождении аудита, фотографии с позапрошлого новогоднего корпоратива – в общем все, что не нужно, переносится в архив, а не лежит балластом на основном хранилище. Так как в итоге файлов меньше, то и объем резервных копий с продуктива сократится, а значит и места под бэкапы нужно меньше.
Как правило, лицензии на архивирование стоят дешевле, чем на резервное копирование.
Пример: лицензия на резервное копирование условно стоит 100 долларов за 1 ТБ, а на архивирование – 70. У клиента есть сервер с 5 ТБ данных, который он полностью бэкапит и платит за это 500 долларов в месяц. После того, как он решил скинуть 4 ТБ в архив, под бэкап осталось 1 ТБ, т.е. 100 долларов в месяц. За архив он платит 4 ТБ х 70 долларов = 280 долларов.
В итоге вместо первоначальных 500 долларов клиент платит 380, экономия 120. Умножаем на 12, получается на 1440 долларов меньше ежегодно.
Можно пойти дальше, и приплюсовать сюда стоимость освободившегося места на продуктиве за счет отъехавшего в архив, а также экономию благодаря дедупликации, которая тоже работает в архивировании. Многих такой расклад радует настолько, что возникает светлая мысль: а не заменить ли более дорогой бэкап архивированием. И вот тут начинаются проблемы.
Архивирование не равно бэкапу (что еще не бэкап, читайте здесь). От резервного копирования оно отличается тем, что никак не поддерживает версионность: в каком виде файл попал в архив, в таком он там и будет лежать. Второй момент: если с архивным хранилищем что-то случится, то без бэкапа или копии на вторую площадку судьба архива будет плачевна.
По сути они решают две разные задачи: архивирование – оптимизация места на продуктивном хранилище, бэкап – защита от потери данных.
Что полезного для архивирования есть у Commvault
В Commvault за архивирование отвечает тот же агент, что и за резервное копирование, – OnePass. В рамках одного задания часть данных уходит на бэкап, другая, подпадающая под правила архивирования, – в архив. Поэтому если уже бэкапите данные с помощью Commvault и решили познакомиться с архивацией, то не нужно устанавливать никаких дополнительных агентов.
OnePass работает следующим образом:
1. Если уже есть полный и инкрементальные бэкапы файлов, то рекомендуется сделать синтетический бэкап (synthetic full backup). В этом случае файл бэкапа соберется из последнего полного бэкапа и всех последующих инкрементальных и/или дифференциальных копий. Ресурсы исходного сервера при этом задействованы не будут.
2. После завершения бэкапа OnePass определяет файлы, попадающие под политику архивирования (archiving rules), и переносит их в архив (выделенное пространство на СХД или отдельную хранилку для архивов — это как вы решите).
Критерии, по которым OnePass решает отправить файл в архив, следующие:
- когда начинать удалять файлы в архив (в зависимости от наличия свободного места на диске);
- когда последний раз открывали файл;
- когда последний раз редактировали файл;
- время создания файла;
- размер файла.
Собственно тут все и настраивается.
3. Файлы, определенные в архив, или удаляются с продуктива совсем, или заменяются на своего рода ярлыки (stubs).
Во втором случае для конечного пользователя мало что изменится. Если бухгалтеру Марье Ивановне понадобится показать аудитору отчет пятилетней давности, то она просто кликнет на ярлык, файл снова переедет на продуктив и откроется как обычно. Небольшие файлы будут восстанавливаться из архива быстро: вордовский файл меньше МБ – несколько секунд. Если это какое-нибудь видео, то времени потребуется больше.
На продуктиве потревоженный файл останется до тех пор, пока снова не попадет под политику архивирования. До этого момента он будет уходить по заданию на бэкап.
Файлики с крестиками и есть те самые ярлыки.
Как и с бэкапом, у администратора есть возможность ограничить количество потоков на восстановление (throttling), чтобы система не прилегла под большим количеством запросов. Можно выставить настройки по количеству файлов на одновременное восстановление, задать интервалы между восстановлениями и пр.
Файлы, которые отправляются в архив, можно зашифровать и хранить их уже в таком виде.
После переноса на архивное хранилище приключения невостребованных файлов не заканчиваются. Для архивного хранилища также можно настроить правила, по которым сами архивы по прошествии времени будут удаляться (retention policy). Например, отчеты отмотали законные три года в архиве, а после автоматически удалились.
На тестовом диске с копиями документов отдела кадров, видео и фото со всяких корпоративов я попробовал применить следующие правила архивирования: файлы старше 0 дней, которые не менялись более 7 дней, размером более 1 МБ. Получилось следующее: до архивации объем данных на продуктиве – 391 ГБ, после – всего 1 ГБ.
Как понять, что отдать в архив
Чтобы определиться с тем, какие именно значения прописать по каждому параметру, в OnePass есть инструмент System Discovery and Archive Analyzer Tool (доступен для пользователей Commvault). Он просканирует файлы по времени последнего изменения, открытия и создания, а также по их размерам. Дальше всю эту сырую статистику можно отправить в Commvault и получить красивые графики и диаграммы, из которых наглядно видно, какие правила архивирования лучше прописать. Не самая удобная схема, признаюсь, но зато будет понятно, в каком направлении копать.
На графике показана статистика по давности изменений в файлах. Скриншот из документации Commvault.
А здесь собрана статистика по дате последнего открытия файла. Скриншот из документации Commvault.
Также делаются отчеты по размерам файлов и их формату. Но самый главный — это File Level Analytics Report. Он предложит правила архивирования, а также покажет, сколько места вы сможете сэкономить, если этими правилами воспользуетесь.
В отчете обещают, что если все файлы больше 10 МБ, не изменяемые больше 90 дней отправлять в архив, то сэкономится 3,85 ТБ. На расчет экономии в деньгах смотреть не стоит: стоимость 1 ГБ на диске почему-то оценивается ими в космические 10 баксов.
Источник: habr.com