Инструменты Kali Linux
Список инструментов для тестирования на проникновение и их описание
HTTrack
Описание HTTrack
HTTrack — это бесплатная, открытая, простая в использовании утилита для оффлайн просмотра веб-сайтов.
Она позволяет загружать веб-сайты из Интернета в локальный каталог, повторяя структуру директорий, получая HTML, изображения и другие файлы с сервера на ваш компьютер. HTTrack организует оригинальную структуру относительных ссылок. Просто откройте страницу «зазеркаленного» веб-сайта в вашем браузере и вы можете просматривать его переходя по ссылкам так, будто бы вы просматриваете его онлайн. HTTrack также может обновить существующий зазеркаленный сайт и возобновить прерванные загрузки. HTTrack полностью настраиваемая, имеет встроенную систему помощи.
HTTrack — это версия для Linux.
WinHTTrack — это версия HTTrack для Windows 2000/XP/Vista/Seven, а WebHTTrack — это графический интерфейс версий Linux/Unix/BSD.
- Версии доступны для Windows, Linux, Sun Solaris и других Unix подобных систем (другие платформы могут быть вскоре добавлены)
- Многоязычный интерфейс для Windows и Linux/Unix
- Бесплатное программное обеспечение (GPL) (исходный код открыт)
- Создание зеркал одного сайта или более чем одного за один раз (с общими ссылками)
- Настройка уровня глубины (рекурсии)
- Быстрое обновление загруженных сайтов и возобновление прерванных загрузок (из-за обрыва соединений, вылетов и т. д.)
- Фильтрация файлов по типу, расположению ссылок, глубины структуры, размеру файлов, размеру сайтов, принимаемым или отбрасываемым сайтом или именам файлов (с продвинутыми символами подстановки).
- Управление таймаутом и минимальной скоростью передачи для пропуска самых медленных сайтов
- Мастер для выбора ссылок, которые должны быть загружены (ссылки для принятия/отказа, все домены, все директории)
- Режим множества подключений (по умолчанию: 4 подключения) делает максимальной скорость загрузки
- HTTP компрессия (gzip..)
- Поддержка прокси для максимальной скорости, есть опциональная аутентификация
- Повторное получение (возобновление) частично скаченных файлов (HTTP/1.1)
- Имена файлов сохраняются с оригинальной структурой или используется расщеплённый режим (один каталог для html, один каталог для изображений), опция имена файлов dos 8-3 и определённая пользователем структура
- Автоматический переключатель для ошибок «Перемещено» («Moved»)
- Разбор HTML и анализ тэгов, включая код javascript/включённый HTML код
- Базовый разбор java и Flash
- Интегрированный DNS кэш
- Родная поддержка https и ipv6
- Опциональный файл журнала с записью ошибок и комментариев
- Определяемый пользователем путь для зеркала и файлов логов
- Работает как программа командной строки или через оболочку как для личного (захвата), так и для профессионального использования (онлайн веб-зеркало)
Справка по HTTrack
Как скачать сайт на компьютер /WinHTTrack Website Copier
Скачиваем сайт с помощью HTTrack Website Copier
с опциями представленными ниже: (* — звёздочка, показывает опции по умолчанию)
Руководство по HTTrack
Страница man присутствует, но почти в точности повторяет справку.
Примеры запуска HTTrack
сделать зеркало сайта www.someweb.com/bob/ и только этого сайта
httrack www.someweb.com/bob/
сделать зеркало двух сайтов вместе (с общими ссылками) и принять любые .jpg файлы на .com сайте
httrack www.someweb.com/bob/ www.anothertest.com/mike/ +*.com/*.jpg -mime:application/*
Источник: kali.tools
HTTrack
HTTrack Website Copier (WebHTTrack) — программа для скачивания сайтов. В Linux программа работает через браузер и позволяет скачивать сайты целиком. Имеет различные настройки и фильтры.
HTTrack предназначена для скачивания сайтов к себе на компьютер и просмотра их в автономном (offline) режиме. Программа автоматически переходит по ссылкам и скачивает полностью (или частично) веб-сайты в зависимости от настроек.
Помимо простого скачивания HTTrack поддерживает дозакачку сайтов, обновление существующих закачек до актуальных версий, тестирование линков (ссылок).
HTTrack позволяет скачивать сайты в несколько потоков, управлять скоростью загрузки, задавать глубину скачивания, фильтровать страницы и файлы по маске и выполнять множество других настроек.
В Linux HTTrack работает через браузер как веб-приложение (WebHTTrack). Когда вы запускаете WebHTTrack, то автоматически открывается браузер и в нем запускается приложение. Сначала необходимо создать или выбрать существующий проект. Затем вы вводите один или несколько сайтов и указываете необходимые настройки (кнопка Задать параметры).
Программа доступна для Linux, Windows, Android, а также доступны исходные коды для самостоятельной компиляции.
Установка
Установка в Ubuntu (LinuxMint)
sudo apt install webhttrack
Программа кроссплатформенная
Работает в:
- Android
- Linux
- Windows
Источник: pingvinus.ru
HTTrack Website Copier 3.49-2
Существует ряд специального софта, функционал которого сосредоточен на сохранении копий сайтов на компьютере. HTTrack Website Copier — одна из таких программ. Она не имеет ничего лишнего, работает быстро и подходит как для продвинутых пользователей, так и для тех, кто никогда не сталкивался с загрузкой веб-страниц. Ее особенность в том, что она распространяется бесплатно. Давайте рассмотрим подробнее возможности данной программы.
Создание нового проекта
HTTrack оснащен мастером создания проектов, с помощью которого настраивается все необходимое для загрузки сайтов. Сначала нужно ввести название и указать место, куда будут сохраняться все загрузки. Обратите внимание, что помещать их нужно в папку, поскольку отдельные файлы не сохраняются в папке проекта, а помещаются просто на разделе жесткого диска, по умолчанию — на системном.
Далее выбирается тип проекта из списка. Есть возможность продолжить остановленную загрузку или загрузить отдельные файлы, пропуская лишние документы, которые находятся на сайте. В отдельном поле нужно ввести веб-адреса.
Если для скачивания страниц необходима авторизация на сайте, то логин и пароль вводятся в специальном окне, и рядом указывается ссылка на сам ресурс. В этом же окне включается мониторинг сложных ссылок.
Остаются последние настройки перед началом скачивания. В этом окне настраивается соединение и задержка. Если необходимо, то можно сохранить настройки, но не начинать скачивание проекта. Это может быть удобно для тех, кто хочет задать дополнительные параметры. Для большинства пользователей, которые просто хотят сохранить копию сайта, ничего вводить не нужно.
Дополнительные параметры
Расширенный функционал может пригодиться опытным пользователям и тем, кому нет необходимости скачивать полностью сайт, а нужны, например, только картинки или текст. Во вкладках данного окна находится большое количество параметров, но от этого не складывается впечатление сложности, поскольку все элементы расположены компактно и удобно. Здесь можно настраивать фильтрацию файлов, устанавливать ограничение загрузок, управлять структурой, ссылками и совершать множество дополнительных действий. Стоит отметить, что если вы не имеете опыта пользования подобными программами, то не стоит изменять неизвестные параметры, поскольку это может привести к ошибкам работы программы.
Скачивание и просмотр файлов
После начала скачивания можно смотреть подробную статистику загрузки всех файлов. Сначала идет соединение и сканирование, после чего начинается скачивание. Вся необходимая информация отображается сверху: количество документов, скорость, ошибки и количество сохраненных байтов.
По завершении загрузки все файлы сохраняются в папке, которая была указана при создании проекта. Ее открытие доступно через HTTrack в меню слева. Оттуда можно перейти в любое место на жестком диске и просмотреть документы.
Достоинства
- Присутствует русский язык;
- Программа распространяется бесплатно;
- Удобный мастер создания проектов.
Недостатки
Во время использования данной программы недостатков не обнаружено.
HTTaker Website Copier – бесплатная программа, которая предоставляет возможность загрузки на компьютер копии любого сайта, который не защищен от копирования. Пользоваться данным софтом сможет как продвинутый пользователь, так и новичок в этом деле. Обновления выходят часто, а ошибки оперативно исправляются.
Источник: lumpics.ru
На всякий случай: как создать локальные копии важных сайтов
На фоне многочисленных блокировок сетевых площадок и слухов о возможном отключении России от мирового интернета невольно задумываешься о сохранении доступа к веб-ресурсам с полезной и ценной информацией. Приводим несколько способов решения данной задачи
За последние несколько дней Рунет кардинально изменился. Некоторые сайты стали недоступны для российских пользователей, некоторые просто закрылись. Что будет происходить дальше, сколько будет стоить доступ в Сеть и будет ли интернет функционировать в привычном виде, мы не знаем. Зато можем посоветовать ряд программ и онлайновых сервисов, позволяющих загрузить содержимое практически любого веб-ресурса к себе на компьютер с целью сохранить доступ к тому или иному представляющему интерес контенту.
Источник изображения: Mohamed Hassan / pixabay.com
HTTrack Website Copier. Древний (последний релиз состоялся аж в 2017 году), но до сих пор исправно функционирующий инструмент для создания как полных копий выбранных сайтов с сохранением структуры каталогов, так и отдельных веб-страниц. Предусмотрены возможности выбора глубины прохода по сайту, возобновления прерванных закачек, исключения скачивания файлов по типу и ограничения скорости передачи данных. Также программа позволяет корректировать параметр User-Agent и мимикрировать под различные браузеры, что может быть востребовано при работе с веб-площадками, «заточенными» под конкретный интернет-обозреватель. Распространяется HTTrack Website Copier бесплатно, имеются версии для Windows, Linux и Android.
Offline Explorer. Коммерческий продукт с ленточным интерфейсом в стиле Microsoft Office и внушительным набором функций для скачивания сайтов. Благодаря регулярным обновлениям и встроенному браузерному движку на базе Chromium поддерживает все современные веб-стандарты. По заверениям разработчиков, умеет копировать контент из YouTube, а также социальных сетей Twitter, Facebook * , Instagram * и прочих.
Приложение может обрабатывать файлы JavaScript и Java-апплеты, отправлять POST-запросы на сервер, моделировать чтение страниц человеком, фильтровать скачиваемый контент, взаимодействовать с защищёнными паролем интернет-площадками и скачивать данные в соответствии с заданным пользователем расписанием. Offline Explorer является коммерческим продуктом, и из-за приостановки работы платёжных систем MasterCard и Visa в России приобрести его в настоящий момент не представляется возможным. Положение спасает наличие пробной версии программы, в которой установлен лимит на количество загружаемых файлов (максимум 2 тысячи) и заблокированы средства экспорта данных в различные форматы. Поддерживаются только устройства под управлением Windows.
Inspyder Web2Disk. Распространяемый по модели Shareware продукт, которым можно пользоваться бесплатно, мирясь с двумя несущественными ограничениями: отсутствием планировщика задач и возможностью одновременного скачивания только двух сайтов. Программа умеет переходить по ссылкам в файлах JavaScript, XML и PDF, работать с веб-формами, исключать из загрузки определённого формата страницы и объекты, а также взаимодействовать с сайтами с учётом объёма загружаемой информации, глубины прохода и других параметров. Доступна корректировка User-Agent под разные браузеры, в том числе мобильные. Дистрибутив продукта представлен только для операционных систем Windows.
WebCopier. Коммерческая утилита, всеми возможностями которой можно пользоваться в течение 7 дней, коих с головой хватит для переноса на диск ПК любых сайтов. По функциональной начинке представляет собой нечто среднее между упомянутыми выше Offline Explorer и Web2Disk. Можно настраивать фильтры для файловых расширений, регулировать скорость скачивания контента, управлять глубиной обхода ссылок, ограничивать размер загружаемых объектов и конфигурировать прочие параметры. Из особенностей отметим возможность экспорта скопированных данных в форматы ZIP, MHT и CHM, а также наличие дистрибутива не только для Windows, но и для macOS.
Website Ripper Copier. Ещё одна обладающая схожими функциями программа для скачивания сайтов целиком. Стоит денег, но благодаря исключительной щедрости разработчиков 30 дней пользоваться приложением можно бесплатно без каких-либо функциональных ограничений.
Удобная особенность Website Ripper Copier — возможность следить за процессом загрузки страниц, при этом выкачка сайта может выполняться в несколько потоков (их количество можно задать в настройках программы). Поддерживаются фильтры, скачивание по расписанию и прочие стандартные функции. Интерфейс продукта немного запутан и требует привыкания. Только для Windows.
Website Copier Online и Website Downloader Online. Онлайновые сервисы для загрузки сайтов на диск компьютера. Первый позволяет бесплатно скачивать 50 страниц первого уровня, второй — контент объёмом до 20 Мбайт. Немного, но для копирования небольших и структурно несложных сайтов — визиток для бизнеса, лендингов, веб-страниц с различного рода инструкциями и документацией — вполне сгодятся. В случае с Website Copier Online для выкачивания контента достаточно только указать URL ресурса, Website Downloader Online более совершенен и позволяет не только скачивать сайты целиком, но и отдельно копировать файлы выбранного типа, будь то документы, изображения, видео- или аудиофайлы.
FireDM. Свободно распространяемая утилита, которая позволяет скачивать видео с популярных медиасервисов и служит отличным дополнением для всех перечисленных в обзоре программных решений. В основу FireDM положены проверенные временем Open Source-компоненты youtube-dl и libcurl.
Приложение поддерживает многопоточную обработку файлов, умеет выцеплять аудиодорожки и субтитры из роликов, оснащено модулем автоматического обновления, а также допускает гибкое конфигурирование в соответствии с предпочтениями пользователя. Утилита не требует установки и может использоваться как в Windows, так и в среде Linux. Рекомендуем.
Создание локальных копий важных сайтов не такая простая задача, как кажется на первый взгляд.
Во-первых, следует понимать, что многие современные веб-ресурсы немыслимы без динамического контента и поддержки технологий HTML5. В тех же социальных сетях, к примеру, всё завязано на действия пользователя и подгрузку данных в зависимости от конкретной ситуации. Именно по этой причине многие из упомянутых выше продуктов не могут справиться с копированием контента из Facebook * , VK и прочих сервисов. Единственное исключение — Offline Explorer, но он стоит серьёзных денег ($200 в редакции Pro) и приобрести его в нынешних реалиях довольно сложно.
Во-вторых, при копировании сайтов не следует увлекаться возможностями скачивания файлов в несколько потоков. Торопиться в этом деле не нужно, и для предотвращения блокировок со стороны веб-сервера следует филигранно подходить к настройкам количества устанавливаемых соединений при выкачивании данных.
Ну и наконец, в-третьих, при использовании приведённого в публикации программного обеспечения всегда важно чтить копирайт и не забывать об авторских правах на скачиваемый из глобальной сети контент.
* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».
Источник: 3dnews.ru