Этичный хакинг и тестирование на проникновение, информационная безопасность
Как узнать куда ведёт ссылка с редиректами: все промежуточные сайты и кукиз
Ссылки с редиректами
При клике на ссылку с редиректом вы окажитесь не на том сайте, куда ведёт эта ссылка, а на каком-то другом. Самый популярный пример таких ссылок — это ссылки, полученные на разных сервисах по сокращению ссылок, пример: http://bit.do/fbb2f
О такой ссылке мало что можно сказать пока по ней не будет сделан переход.
Ссылки с редиректом часто используются на сайтах для маскировки внешних ссылок — пользователю выводится ссылка как будто бы на внутренний ресурс сайта, например, http://hackware.ru/?goto=1, но при клике по ней выполняется переход на внешний ресурс.
Анализ ссылок с редиректом может понадобится в том числе для изучения фишинговых ссылок, либо страниц со множеством редиректов: когда вы открываете сайт в окне браузера, но затем вас перебрасывает на следующую страницу без ваших действий, затем на другую и так далее.
Лучший вопрос на собеседовании: Что происходит после ввода адреса в браузер?
Как определить все редиректы страницы
Для Linux имеется специальная программа под названием Hoper — она делает именно то, что нас интересует: показывает все сделанные редиректы.
В Kali Linux программа устанавливается следующим образом:
sudo apt install libcurl4-openssl-dev sudo gem install gemspec hoper
Вполне возможно, что в другие дистрибутивы Linux также удастся выполнить установку этим же способом.
В BlackArch команда устанавливается так:
sudo pacman -S hoper
но в данный момент она не работает в BlackArch (хотя раньше работала):
Использование программы простейшее:
hoper URL
hoper http://hackware.ru/?goto=1
У программы hoper имеется ряд проблем — главная из них: она показывает не все переходы, которые делает ссылка.
- требует Ruby
- не работает в BlackArch
- не показывает кукиз
Как говориться, если хочешь, чтобы что-то было сделано хорошо — то сделай это сам!
Программа для определения всех редиректов
Задача кажется довольно простой — нужно перейти по ссылке, посмотреть куда она ведёт, перейти туда, посмотреть куда ведёт следующая ссылка и так по кругу.
Но имеются следующие трудности:
- относительная переадресация: ссылка может быть абсолютной, например https://hackware.ru/, а может быть относительной, например «/blog» или «/». По относительной ссылкам нельзя просто перейти — нужно правильно составить абсолютную ссылку (видимо, Hoper не умеет этого)
- разные коды ответов: имеется несколько HTTP кодов ответов с редиректами, они имеют вид 3xx. Это нужно учитывать при написании парсера. При этом нельзя ориентироваться на код ответа 200 для прекращения обхода ссылок, поскольку код ответа 404 или 403 и другие также означают, что нужно остановиться
- переадресация с кукиз: некоторые сайты устанавливают кукиз и действуют исходя из них
- некоторые сервисы активно противодействуют ботам
- редиректы могут выполняться не только с помощью HTTP заголовков, но и методами JavaScript и HTML.
Пример редиректа с помощью JavaScript:
Как узнать кто, когда и зачем заходил в ваш компьютер
window.location.href = «http://fara.host/?o08z»;
Пример редиректа с помощью JavaScript и с дополнительной обфускацией:
function ready(callback)< if(document.readyState!=’loading’) callback(); else if (document.addEventListener) document.addEventListener(‘DOMContentLoaded’, callback); else document.attachEvent(‘onreadystatechange’, function());>ready(function() < var options = < excludes: >; Fingerprint2.get(options, function(components) < var fingerprint = Fingerprint2.x64hash128(components.map(function (pair) < return pair.value >).join(), 64); location.href = window.location.protocol + «//» + window.location.host + ‘/check-unique/index?unique_code=’+fingerprint+’code=5d9a67e7a054curl=http://goldenreceiptwin.top/)>);
Первые три проблемы я решил в своём скрипте, четвёртая решена только частично. Пятая также решена частично — можно добавить больше паттернов для поиска редиректов, но окончательно побороть обфускацию невозможно. Кстати, если вы хотите дополнить примеры редиректов для добавления их в этот скрипт, то пишите в комментариях.
Чтобы использовать скрипт создайте файл dest-finder.sh:
gedit dest-finder.sh
И скопируйте в него:
#!/bin/bash LINK=$1 COUNTER=1 rm /tmp/cookies.txt 2>/dev/null echo «Получена для анализа ссылка: $LINK» echo while (( 1 )); do HEADER=`curl -s -I -A ‘Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36’ —cookie-jar /tmp/cookies.txt -b /tmp/cookies.txt «$LINK»` LOCATION=`echo «$HEADER» | grep -E -i ‘^Location: ‘ | sed ‘s/Location: //’ | sed ‘s/location: //’ | sed ‘s/[[:space:]]+//g’` CODE=`echo «$HEADER» | head -n 1` if [[ -z «$LOCATION» ]]; then BODY=`curl -s -A ‘Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36′ —cookie-jar /tmp/cookies.txt -b /tmp/cookies.txt «$LINK»` LOCATION=`echo «$BODY» | grep -E «(location.href)|(meta http-equiv=’refresh’)» | grep -E -o «http(:|s)[^’]+» | head -n 1 | sed ‘s/»;//’` if [[ -z «$LOCATION» ]]; then echo «Конечный пункт назначения: $LINK» echo echo «Во время переадресаций были установлены следующие кукиз: » cat /tmp/cookies.txt | awk ‘$1 != «#»‘ exit fi fi echo «Переадресация номер: $COUNTER» echo «Получен код ответа: $CODE» echo «Выполнена переадресация на $LOCATION» echo «» if [[ -z «`echo «$LOCATION» | grep -E ‘(^http)’`» ]]; then if [[ «$LOCATION» == «/» ]]; then LOCATION=» fi LINK=»`echo «$LINK» | grep -E -o ‘[^?]*’ | head -n 1`»»$LOCATION» else LINK=»$LOCATION» fi COUNTER=$(($COUNTER+1)) done
bash dest-finder.sh URL
Ссылки рекомендуется помещать в кавычки, поскольку они могут содержать символы, имеющие специальное значение для оболочки Bash.
bash dest-finder.sh ‘http://hackware.ru/?goto=1’
Теперь нам показаны все четыре редиректа:
Как просмотреть кукиз, которые устанавливают сайты при редиректах
Я задался вопросом, как узнать, какие кукиз установились во время редиректа? Как я уже упомянул, для обработки некоторых редиректов нужно учитывать кукиз, которые устанавливают сайты. Поэтому предыдущий скрипт сохраняет и отправляет кукиз. Поскольку это в любом случае уже делается, то для тех, кому это интересно, в конце работы скрипта показываются кукиз, которые были получены.
Если вам хочется сделать так, чтобы кукиз выводились после каждого редиректа, то вы сможете это сделать немного отредактировав приведённый выше скрипт.
Кстати, если вам просто хочется посмотреть, какие кукиз устанавливает сайт (даже если на странице нет редиректа), то предыдущий скрипт также сработает:
bash dest-finder.sh ‘https://www.youtube.com/watch?v=UFEz5fPYqNc’
Онлайн сервис, который показывает куда ведёт ссылка и кукиз сайтов
Выше дан исходный код простого скрипта, который не требует установки и работает без зависимостей. Если вам хочется онлайн сервис, чтобы не возиться даже с запуском скрипта, то вот он: https://suip.biz/ru/?act=hoper
Раньше этот сервис работал на основе Hoper, но теперь он использует мой скрипт.
То есть, он вам подойдёт если:
- нужно узнать все промежуточные страницы редиректа
- нужно просто посмотреть кукиз, которые устанавливает веб-страница (даже если на ней нет редиректа)
В общем, пользуйтесь, — если найдёте ошибки в работе, то пишите здесь в комментариях — обязательно поправлю.
Связанные статьи:
- Обход файерволов веб приложений Cloudflare, Incapsula, SUCURI (59.1%)
- Поиск виртуальных хостов веб-сервера (59.1%)
- Веб-архивы Интернета: как искать удалённую информацию и восстанавливать сайты (59.1%)
- Зеркала сайта: исследование с точки зрения пентестера и настройка веб-мастером (59.1%)
- FinalRecon: простой и быстрый инструмент для сбора информации о сайте, работает и на Windows (59.1%)
- Поиск человека по IP (кейс) (RANDOM — 1%)
Источник: hackware.ru
Чем посмотреть куда обращается программа по сети
Опубликовано 11.01.2012 — 23:06
В общем возникла проблемка с одной банковской программой.
Топология:
1. компьютер
2. Cisco-вские свичи
3. ISA 2007
4. Cisco брандмауэр
5. Оптика
6. Провайдер
Программа запускается нормально.
При обращении программы в банк, для запроса выписок, по локальной сети ее не видно. То есть на ISA сервере запускаю запрос и не вижу ее обращений туда.
При подключении модема типа свисток нормально работает.
Маршруты, стеки протоколов, службы и прочая лубудень прочищены вплоть до переустановки машины и запуска данной программы на другом компьютере.
Вопрос: какой программой можно посмотреть куда программа обращается по сети
Магическое сочетание почти всех клавиш, способное свалить ось на ноуте, известно только моему коту. Не забывайте прикрывать ноут хотя бы наполовину каждый раз, как отворачиваетесь от него!
Я боюсь что однажды не смогу справится с бедой, а друг и не друг, а так.
#2 
Оффлайн 0vZ
Опубликовано 11.01.2012 — 23:15
Все, что я тут пишу — это просто шутка и ничего более.
#3 Оффлайн Dimitry
Опубликовано 11.01.2012 — 23:18
бесполезно. скорее всего программа общается с банком по ВПНу.
Учебная литература, прописи, контурные карты, рабочие тетради для школы — обращайтесь в личку.
1С, Microsoft, антивирусы и другое лицензионное программное обеспечение. В личку или по телефону (863) 243-07-78
Домашняя ферма — пробуем себя на новом месте! )
#4 Оффлайн SGray
Опубликовано 11.01.2012 — 23:49
wireshark, в таком случае, тоже бесполезен?
хороший компьютер — тихий и быстрый.
Он выдержит очередь из КПВТ и подрыв гранаты под днищем. (с) грамотный
#5 Оффлайн faddist
Кавалер ордена флейма
Опубликовано 12.01.2012 — 08:34
На цисковских свичтах скорее всего можно (как не подскажу) создать порт — зеркало порта машины с прогой и посмотреть какие пакеты там летают. Смотреть можно чем угодо gjl unix cамое популярное tcpdump.
Не жалей о том, что радости было мало – этим ты приобретешь еще одну печаль.
#6 Оффлайн iouri
Кавалер ордена флейма
Опубликовано 12.01.2012 — 08:46
На цисковских свичтах скорее всего можно (как не подскажу) создать порт — зеркало порта машины с прогой и посмотреть какие пакеты там летают. Смотреть можно чем угодо gjl unix cамое популярное tcpdump.
Очень дельный совет.
На разных свичах может быть разный синтакисис, смотреть в сторону monitor session (зависит от модели коммутатора).
#7 Оффлайн markII
Опубликовано 12.01.2012 — 09:33
последние сведения
машина обращается к ip в виде ***.**.***.***.lfjsdlkfjdslfjsdljf.ru и не хочет преобразовывать в локальные. Клиента ISA сервера игнорирует по полной программе.
В общем руководством принято решение перейти на новую версию программы.
Магическое сочетание почти всех клавиш, способное свалить ось на ноуте, известно только моему коту. Не забывайте прикрывать ноут хотя бы наполовину каждый раз, как отворачиваетесь от него!
Я боюсь что однажды не смогу справится с бедой, а друг и не друг, а так.
#8 Оффлайн Sia-Ori
Опубликовано 12.01.2012 — 23:08
Комп то виндовозный?
Тогда Микрософт Нетворк Монитор.
Если обращается к непонятно какому адресу — можно начать с прописывания правильного IP к этому адресу в Winntsystem32driversetchosts.
По существу заданного мне вопроса ничего пояснить не могу.
#9 Оффлайн мирубир
Дважды герой флейма
Опубликовано 15.01.2012 — 00:08
есчо можно по протоколу netflow с циски снимать какие пакеты через нее прошли
а снимать скорее всево не на свичах если они не уровня L3 , а на том что в виде брендмауэра, тока непонятно шо там пикс стоит или роутер
Чем больше знаешь, тем больше учишься. (С)
#10 Оффлайн мирубир
Дважды герой флейма
Опубликовано 15.01.2012 — 00:27
либо на управляемых коммутаторах выделить порт на который будет вешаться нюхач и сыпаться трафик )
Чем больше знаешь, тем больше учишься. (С)
#11 Оффлайн Sia-Ori
Опубликовано 15.01.2012 — 10:51
свитчи, свитчи. Оно то может и правильно, но до ИСА2007 запросы не доходят, скорее всего остаются вообще в пределах 127.0.0.1. На самом компе мониторить запросы надо, там глюк какой-то, то ли имена не разрешает, то ли ещё как.
По существу заданного мне вопроса ничего пояснить не могу.
Источник: www.auto-rostov.ru
Проверка переадресации
Ссылки могут быть перенаправлены по целому ряду причин, и некоторые из этих причин могут быть преступными. Как правило, перенаправления используются, если страница была удалена, если сайт переехал на новый домен или сменил протокол на HTTPS, если URL страницы был изменен, если два или более сайтов были объединены и так далее. В любом случае, очень важно заранее знать, куда вы перейдете, кликнув по ссылке. Инструмент проверки переадресации (Redirect Tracker) дает ответ именно на такой вопрос. С нашим бесплатным инструментом вы будете защищены и осведомлены (без каких-либо скрытых платежей).
Зачем мне нужно отслеживать мои ссылки?
1. Вы любопытны и хотите узнать, куда ведет укороченный URL (при этом вы, возможно, не доверяете источнику).
2. Вы серьезно относитесь к кибербезопасности и хотите оградиться от фишинговых и вирусных атак.
3. Если вы занимаетесь созданием сайтов и/или рекламной в Интернете и хотите проверить свои ссылки.
Какие бывают типы перенаправлений?
Перемещено навсегда – Как правило, это значит, что адрес, на который вы пытаетесь зайти, был полностью удален или куда-то перемещен. Такое перенаправление часто используется в тех случаях, когда пользователи хотят удалить или изменить одну страницу и заменить ее другой. Старый адрес в этом случае должен быть удален и заменен новым, чтобы избежать перенаправления.
302 Найдено – Используется для временных перенаправлений: в зависимости от спецификации HTTP код 302 может быть эквивалентом кода 307 (302 работает в HTTP 1.0). Он используется для временного перенаправления одного URL на другой — как правило, в тех ситуациях, когда перенаправляемый адрес будет повторно использован в будущем.
Это значит, что страница будет доступна по новому адресу в течение некого периода времени, но не навсегда. 303 См. прочее – Когда странице требуется для загрузки больше времени (после заполнения формы, проведения платежа и так далее), вы тем временем будете перенаправлены на другую страницу.
Это нужно, чтобы вы не добавили загружающуюся страницу в закладки или не обновляли ее. 307 Временное перенаправление – Это эквивалент кода состояния 302 для протокола HTTP версии 1.1. Запрошенный URL был временно перемещен. Как правило, это перенаправление используется в тех случаях, когда старый URL еще понадобится в будущем.
Источник: www.websiteplanet.com