Поэтому приведем некоторые рекомендации по настройкам и общим принципам загрузки сайтов из сети Интернет.
1. В зависимости от типа закачиваемого на компьютер сайта, исключайте из загрузок файлы с ненужными расширениями.
Пример: при загрузке фалов рефератов можно исключить GIF, PNG, и видео-форматы, но при этом явно указать программе загружать ZIP, RAR, TAR, GZ, TGZ и другие архивы, в которых хранятся рефераты.
2. В закладке «Ограничения» максимальную глубину вложений можно выбрать методом экспериментов, достаточно выбрать параметр 10 и следить за типом загружаемых файлов.
3. Внимательно отнеситесь к параметрам Пауза после загрузки, Скорость закачки и Максимальное число соединений — они отвечают за то, как быстро сервер определит что на нем находится не человек а работ и заблокирует ваш IP.
Здесь хорош принцип — тише едешь, дальше будешь, который означает что лучше выставить меньшую скорость и больший тайм-аут между закачками, чем ждать пока сайт разблокирует ваш IP.
Copy Any Website With One Click! — HTTrack Website Copier
4. В разделе «Структура» выбирается вид, в котором сайт будет сохранен на компьютер. Вы сможете просмотреть его в любом случае, просто выберите вид в котором вам будет удобнее ориентироваться.
5. В разделе «Лог, индекс, кэш» установите отметку «Log файлы» и параметр «Обычная» — этого будет достаточно для коррекции настроек загрузки, в зависимости от ошибок, которые будут описаны в лог файле.
6. «Идентификация» — здесь настраивается вид браузера, которым представляется программа для закачиваемого сайта, этот параметр работал раньше, теперь сайты стали умнее и так просто их не обмануть, поэтому смело пропускайте эти настройки.
Источник: softobase.com
HackWare.ru
Этичный хакинг и тестирование на проникновение, информационная безопасность
Инструкция по использованию HTTrack: создание зеркал сайтов, клонирование страницы входа
С программой HTTrack вы можете создать копию сайта у себя на диске. Программа доступна для всех популярных платформ, посмотреть подробности об установке на разные системы, о графическом интерфейсе и ознакомиться со всеми опциями вы можете на странице https://kali.tools/?p=1198.
Далее я рассмотрю несколько примеров использования HTTrack с уклоном на пентестинг.
В плане пентестинга HTTrack может быть полезна для:
- исследования структуры сайта (подкаталоги, страницы сайта)
- поиск файлов на сайте (документы, изображения)
- поиск по документам и метаданным файлов с сайта
- клонирование страниц входа с целью последующего использования для фишинга
Создадим директорию, где мы будем сохранять скаченные зеркала сайтов:
mkdir websitesmirrors
Посмотрим абсолютный путь до только что созданной директории:
readlink -f websitesmirrors
В моём случае это /home/mial/websitesmirrors, у вас будет какой-то другой адрес – учитывайте это и заменяйте пути в приведённых мною командах на свои.
Скачиваем сайт с помощью HTTrack Website Copier
Простейщий запуск HTTrack выглядит так:
httrack адрес_сайта -O «путь/до/папки/зеркала»
- адрес_сайта – сайт, зеркало которого нужно сохранить на диск
- путь/до/папки/зеркала – папка, куда будет сохранён скаченный сайт
Я бы рекомендовал с каждым запуском программы использовать опцию -F, после которой указывать пользовательский агент:
httrack адрес_сайта -F «User Agent» -O «путь/до/папки/зеркала»
Списки строк User Agent я смотрю здесь.
httrack http://z-oleg.com/ -F «Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36» -O «/home/mial/websitesmirrors/z-oleg.com»
Этой командой будет сделано локальное зеркало сайта с сохранением его оригинальной структуры папок и файлов.
Пример запуска с опцией -N4:
httrack http://thailandcer.ru/ -N4 -F «Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36» -O «/home/mial/websitesmirrors/thailandcer.ru/»
По умолчанию HTTrack учитывает содержимое файла robots.txt, т.е. если он запрещает доступ к папкам, документам и файлам, то HTTrack не пытается туда зайти. Для игнорирования содержимого robots.txt используется опция -s0
Пример запуска с опцией -s0:
httrack http://spryt.ru/ -s0 -N4 -F «Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36» -O «/home/mial/websitesmirrors/spryt.ru/»
Для обновления уже созданного зеркала можно использовать сокращённую опцию —update, которая означает обновить зеркало, без подтверждения и которая равнозначна двум опциям -iC2.
Для продолжения создания зеркала, если процесс был прерван, можно использовать сокращённую опцию —continue (означает продолжить зеркало, без подтверждения), либо эквивалентные опции -iC1.
Создание клона страницы входа на сайт
Думаю, нет нужды объяснять, зачем пентестеру может понадобиться клон страницы входа, например, сайта vk.com, mail.ru и т.д.
Нужно учитывать следующее:
- у сайта могут быть разные страницы для входа с мобильного устройства и для входа с компьютера
- адрес страниц для входа с мобильного устройства и с компьютера может быть одинаковым или разным
- нам не нужно клонировать весь сайт – достаточно только одной страницы
Чтобы притвориться мобильным браузером нужно использовать соответствующую строку User Agent, я буду использовать эту (рекомендую вам выбрать свою собственную строку!):
Mozilla/5.0 (Linux; U; Android 2.3; ru-ru) AppleWebKit/999+ (KHTML, like Gecko) Safari/999.9
Чтобы узнать, какой адрес используется для входа с мобильных устройств, я воспользуюсь программой cURL. Опция -i означает показывать не только полученные данные, но и заголовки. После опции -A можно указать Пользовательский Агент:
curl -i -A «Mozilla/5.0 (Linux; U; Android 4.0.3; ru-ru; LG-L160L Build/IML74K) AppleWebkit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30» https://vk.com
HTTP/2 302 server: nginx date: Tue, 04 Jul 2017 09:46:47 GMT content-type: text/html; charset=windows-1251 content-length: 0 location: https://m.vk.com/ x-powered-by: PHP/3.13127 set-cookie: remixlang=0; expires=Sun, 01 Jul 2018 18:09:12 GMT; path=/; domain=.vk.com strict-transport-security: max-age=0
Интересующей нас строкой является location: https://m.vk.com/. Она означает, что вход для мобильных клиентов размещён по адресу https://m.vk.com/
Проблема с адресом решена. Также нам нужно менять User Agent в программе HTTrack (опция -F).
Кроме этого, нам нужно использовать опцию -r2, которая ограничит HTTrack получением одной страницы, без попытки клонировать сайт.
Примечание: сайт может выдавать различное содержимое на уровне скриптов веб-приложения, основываясь на полученной строке Пользовательского Агента), а не в зависимости от адреса. Также возможен вариант, когда сайт использует универсальный шаблон, подстраивающийся под любое разрешение экрана – в этом случае адрес входа на сайт будет одинаковым для всех типов устройств, и HTML код также будет одинаковым.
Примечание 2: даже перейдя на адрес мобильной версии, веб-приложение, основываясь на строке User Agent может перенаправить вас на полную версию сайта. Поэтому при создании клона страницы важно и вводить правильный адрес, и подменять строку Пользовательского Агента.
Итак, делаем клон страницы входа vk.com для компьютеров:
httrack https://vk.com -r2 -F «Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36» -O «/home/mial/websitesmirrors/vk.com/»
Получение мобильной версии сайта:
httrack https://m.vk.com -r2 -F «Mozilla/5.0 (Linux; U; Android 2.3; ru-ru) AppleWebKit/999+ (KHTML, like Gecko) Safari/999.9» -O «/home/mial/websitesmirrors/vk.com.mob/»
При попытке просмотреть полученную страницу, имеется бесконечный редирект. Судя по всему, встроена какая-то проверка на путь страницы. Она не может быть реализована иначе, чем через JavaScript, поэтому ищем и удаляем лишний код. В данном случае «лишним» является подсвеченный блок (второй блок JavaScript кода):
После этого удаления, клонированная страница прекрасно открывается в веб-браузере:
Как можно убедиться по скриншотам, нам показаны англоязычные версии сайта. Чтобы этого избежать, нужно отправлять дополнительные заголовки (опция —headers) с языковыми настройками («Accept-Language: ru-RU,ru;q=0.5»). Т.е. к нашим командам нужно добавить строку —headers «Accept-Language: ru-RU,ru;q=0.5»
httrack https://vk.com —headers «Accept-Language: ru-RU,ru;q=0.5» -r2 -F «Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36» -O «/home/mial/websitesmirrors/vk.com/»
httrack https://m.vk.com —headers «Accept-Language: ru-RU,ru;q=0.5» -r2 -F «Mozilla/5.0 (Linux; U; Android 2.3; ru-ru) AppleWebKit/999+ (KHTML, like Gecko) Safari/999.9» -O «/home/mial/websitesmirrors/vk.com.mob/»
Рассмотрим ещё один пример для yandex.ru
curl -i -A «Mozilla/5.0 (Linux; U; Android 2.3; ru-ru) AppleWebKit/999+ (KHTML, like Gecko) Safari/999.9» https://yandex.ru
Редиректа не происходит! Это означает, что нам нужно поменять только User Agent, адрес менять не нужно.
Получение полной версии сайта:
httrack https://yandex.ru -r2 -F «Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36» -O «/home/mial/websitesmirrors/yandex.ru/»
Получение мобильной версии сайта:
httrack https://yandex.ru -r2 -F «Mozilla/5.0 (Linux; U; Android 2.3; ru-ru) AppleWebKit/999+ (KHTML, like Gecko) Safari/999.9» -O «/home/mial/websitesmirrors/yandex.ru.mob/»
Немного сбила с толку ситуация с mail.ru – редиректа при попытке притвориться мобильным устройством не происходило и для моего любого User Agent’а в любом случае показывалась полная версия (думаю, дело в неудачной строке User Agent). Зато набрав в браузере m.mail.ru, я сразу получил адрес мобильной версии https://mail.ru/?from=m, тогда:
Получение полной версии сайта:
httrack https://mail.ru -r2 -F «Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36» -O «/home/mial/websitesmirrors/mail.ru/»
Получение мобильной версии сайта:
httrack «https://mail.ru/?from=m» -r2 -F «Mozilla/5.0 (Linux; U; Android 2.3; ru-ru) AppleWebKit/999+ (KHTML, like Gecko) Safari/999.9» -O «/home/mial/websitesmirrors/mail.ru.mob/»
Клонирование сайта требующего входа (ввод логина и пароля)
Если вам нужно клонировать сайт, требующий входа (например, форум), то настройте Burp Suite для работы с вашим веб-браузером. Перейдите на сайт и посмотрите, какие кукиз передаются на него. После этого запустите HTTrack с опцией —headers, после которой укажите передаваемые кукиз.
Заключение
В данной статье было показано, как создать зеркало сайта на своём компьютере, как полностью клонировать его структуру, либо распределить файлы в зависимости от их типа по соответствующим папкам. Также был показан примерный алгоритм создания клонов страниц входа на сайты, причём как для полной версии, так и для мобильной.
Если у вас есть свои интересные способы использования HTTrack или вопросы по функционалу программы, то пишите ваши идеи в комментариях.
Связанные статьи:
- badKarma: Продвинутый набор инструментов для сетевой разведки (65.4%)
- Веб-архивы Интернета: как искать удалённую информацию и восстанавливать сайты (63.1%)
- Массовый поиск геотэгов на сайтах и в локальном хранилище (59.1%)
- Сбор информации о владельце сайта. Поиск сайтов одного лица (53.9%)
- Как узнать настоящий IP сайта в Cloudflare (53.9%)
- Аудит безопасности SMB и Samba (RANDOM — 0.9%)
Источник: hackware.ru
HTTrack Website Copier 3.49-2
Существует ряд специального софта, функционал которого сосредоточен на сохранении копий сайтов на компьютере. HTTrack Website Copier — одна из таких программ. Она не имеет ничего лишнего, работает быстро и подходит как для продвинутых пользователей, так и для тех, кто никогда не сталкивался с загрузкой веб-страниц. Ее особенность в том, что она распространяется бесплатно. Давайте рассмотрим подробнее возможности данной программы.
Создание нового проекта
HTTrack оснащен мастером создания проектов, с помощью которого настраивается все необходимое для загрузки сайтов. Сначала нужно ввести название и указать место, куда будут сохраняться все загрузки. Обратите внимание, что помещать их нужно в папку, поскольку отдельные файлы не сохраняются в папке проекта, а помещаются просто на разделе жесткого диска, по умолчанию — на системном.
Далее выбирается тип проекта из списка. Есть возможность продолжить остановленную загрузку или загрузить отдельные файлы, пропуская лишние документы, которые находятся на сайте. В отдельном поле нужно ввести веб-адреса.
Если для скачивания страниц необходима авторизация на сайте, то логин и пароль вводятся в специальном окне, и рядом указывается ссылка на сам ресурс. В этом же окне включается мониторинг сложных ссылок.
Остаются последние настройки перед началом скачивания. В этом окне настраивается соединение и задержка. Если необходимо, то можно сохранить настройки, но не начинать скачивание проекта. Это может быть удобно для тех, кто хочет задать дополнительные параметры. Для большинства пользователей, которые просто хотят сохранить копию сайта, ничего вводить не нужно.
Дополнительные параметры
Расширенный функционал может пригодиться опытным пользователям и тем, кому нет необходимости скачивать полностью сайт, а нужны, например, только картинки или текст. Во вкладках данного окна находится большое количество параметров, но от этого не складывается впечатление сложности, поскольку все элементы расположены компактно и удобно. Здесь можно настраивать фильтрацию файлов, устанавливать ограничение загрузок, управлять структурой, ссылками и совершать множество дополнительных действий. Стоит отметить, что если вы не имеете опыта пользования подобными программами, то не стоит изменять неизвестные параметры, поскольку это может привести к ошибкам работы программы.
Скачивание и просмотр файлов
После начала скачивания можно смотреть подробную статистику загрузки всех файлов. Сначала идет соединение и сканирование, после чего начинается скачивание. Вся необходимая информация отображается сверху: количество документов, скорость, ошибки и количество сохраненных байтов.
По завершении загрузки все файлы сохраняются в папке, которая была указана при создании проекта. Ее открытие доступно через HTTrack в меню слева. Оттуда можно перейти в любое место на жестком диске и просмотреть документы.
Достоинства
- Присутствует русский язык;
- Программа распространяется бесплатно;
- Удобный мастер создания проектов.
Недостатки
Во время использования данной программы недостатков не обнаружено.
HTTaker Website Copier – бесплатная программа, которая предоставляет возможность загрузки на компьютер копии любого сайта, который не защищен от копирования. Пользоваться данным софтом сможет как продвинутый пользователь, так и новичок в этом деле. Обновления выходят часто, а ошибки оперативно исправляются.
Источник: lumpics.ru