Spiderfoot что это за программа

Боевой OSINT — разведка и сбор информации из открытых источников

OSINT (англ. Open source intelligence) или разведка на основе открытых источников включает в себя поиск, сбор и анализ информации, полученной из общедоступных источников. Ключевой целью является поиск информации, которая представляет ценность для злоумышленника либо конкурента. Сбор информации во многом является ключевым элементом проведения пентеста.

От того, насколько качественно он был осуществлён, может зависеть, как эффективность пентеста в целом, так и эффективность отработки отдельных векторов атаки (социальная инженерия, брутфорс, атака на Web-приложения и пр.). В разрезе кибербезопасности/пентеста OSINT чаще всего применяется для сбора публичных данных о компании, и это касается не только информации о email-адресах ее сотрудников. Не менее интересной будет информация о:

• DNS-именах и IP-адресах;
• доменах и субдоменах, зарегистрированных за компанией;
• фактах компрометации почтовых адресов;
• открытых портах и сервисах на них;
• публичных эксплойтах для найденных сервисов;
• конфиденциальных документах;
• имеющихся механизмах безопасности и т.д.

Сегодня посмотрим с помощью каких инструментов и какую информацию можно найти в открытых источниках на примере нашей компании.

SpiderFoot — An Open Source Intelligence Automation Tool

Статья носит информационный характер. Не нарушайте законодательство.

Консольные инструменты

TheHarvester

TheHarvester — это целый фреймворк для сбора e-mail адресов, имён субдоменов, виртуальных хостов, открытых портов/банеров и имён сотрудников компании из различных открытых источников. Позволяет производить как пассивный поиск по нескольким поисковым системам: google, yahoo, bing, shodan.io, googleplus, linkedin и т.д., так и активный — например, перебор имен субдоменов по словарю.

Используя различные поисковые источники можно получить различный результат. Например, при использовании поисковой системы Yahoo:

# theHarvester -d pentestit.ru -b yahoo

А при использовании Google:

# theHarvester -d pentestit.ru -b google

Dmitry

Dmitry — еще один консольный инструмент для поиска информации об интересующих хостах. Базовый функционал может собирать возможные субдомены, адреса электронной почты, информацию о времени безотказной работы, сканирование TCP-портов, поиск whois и многое другое. Функционал довольно обширный, но по возможностям и скорости обнаружения открытых портов все же уступает предыдущему инструменту, но это не мешает использовать их совместно. Все-таки, подобные вопросы требуют использования информации из разных источников для большей достоверности.

# dmitry -winsepfb pentestit.ru

Чтобы получить максимальное количество информации о домене указываем все ключи. В числе прочего, инструмент будет сканировать порты, но в ограниченном диапазоне, поэтому лучше для этих целей использовать Nmap

Nmap

Nmap («Network Mapper») — это утилита с открытым исходным кодом для исследования сети и проверки безопасности. Она была разработана для быстрого сканирования больших сетей, хотя прекрасно справляется и с единичными целями. Это нестареющая классика и первый инструмент, который используют при проведении пентеста. Его функционал довольно обширен, но в нашем случае от него потребуется только определение открытых портов, названия запущенных сервисов и их версии.

# nmap -v pentestit.ru -sV -Pn

Узнав открытые порты запустим тот же Nmap, но уже будем использовать различные группы скриптов, которые помогут обнаружить возможные ошибки конфигурации:

# nmap -sV pentestit.ru —script «version, discovery, vuln, auth» -p22,80,443 -Pn

При выполнении этой команды Nmap выполнит все скрипты, собранные в этих группах для получения информации из каждой группы: получение расширенного вывода версии сервисов, поиск расширенной информации о сервере, поиск публичных уязвимостей и т.д. Эта информация так же поможет определить возможные точки входа в сетевой периметр организации.

WhatWeb

Многие компании имеют свой сайт, который также можно проанализировать. WhatWeb как раз идентифицирует веб-сайты. Главная задача инструмента — ответить на вопрос какие технологии использует веб-приложение. WhatWeb распознает веб-технологии, в том числе систему управления контентом (CMS), пакеты статистики/аналитики, библиотеки JavaScript, и многое другое.

Имеет более 1700 плагинов, каждый из которых предназначен для распознавания чего-то одного. Также идентифицирует номера версий, email адреса, ID аккаунтов, модули веб-платформ, SQL ошибки и прочее.

# whatweb -v pentestit.ru

TiDos

TiDos — универсальная платформа, охватывающая всё от сбора начальных данных до анализа на уязвимости. В своем арсенале имеет 5 модулей, которые позволяют выполнять как поиск информации о цели в открытых источниках, так и искать некоторые уязвимости (но все же не является полноценным сканером уязвимостей). Так как нас интересует только сбор информации, то и рассматривать будем только один раздел, содержащий порядка 50 модулей. Этот раздел позволяет проводить как пассивный сбор данных:

• поиск email-адресов и прочую контактную информацию в Интернете;
• информацию о домене (whois-информация);
• информацию о конфигурации DNS;
• список субдоменов;
• список подсетей и т.д.

• сбор баннеров;
• проверка файлов robots.txt и sitemap.xml;
• определение CMS;
• определение альтернативных версий сайта путем обращения с различным параметром User-Agent;
• поиск файлов типа info.php и его возможных вариаций и т.д.

SpiderFoot

SpiderFoot — это инструмент автоматизации проведения OSINT. Он интегрируется со многими доступными источниками данных и использует ряд методов анализа данных, что упрощает навигацию по этим данным. SpiderFoot не совсем консольный инструмент т.к. имеет встроенный веб-сервер с интуитивно понятным веб-интерфейсом. Позволяет собирать информацию о:

• IP-адресах;
• Домены/Субдомены;
• Имена пользователей;
• Телефонные адреса;
• Проверка некоторых данных на предмет утечки и т.д.

Maltego

Maltego — довольно популярный инструмент для проведения OSINT мероприятий и построения взаимосвязей в виде графов. Бесплатной версии может быть вполне достаточно для поиска информации, однако нужно помнить, что для многих модулей, например поисковой системы Shodan, требуется получить API ключи задействованных сервисов.

По окончании можно можно софрмировать отчет в формате PDF для удобного просмотра найденной информации.

Онлайн сервисы

Использование онлайн-сервисов также один из возможных путей при проведении сбора данных о цели. Обобщенная база таких сервисов — это osintframework. Здесь собраны и отсортированы по разделам различные инструменты. К слову говоря, здесь также предоставлены ссылки на полезные инструменты и фреймворки, относящиеся к конкретному разделу, как например, TheHarvester или Recon-ng.

Поиск email

hunter — на сайте вводим название комании или ее домен, и получаем список адресов, которые удалось найти вместе с ресурсами, где эти данные фигурировали.

Как приятный бонус доступно расширение для браузера, которое при посещении веб-сайта будет автоматически искать связанные с ним email-адреса.
mailshunt — по аналогии с предыдущим сервисом указываем домен компании и получаем список найденных учетных записей.

Найденные email-адреса можно проверить на предмет утечки на известном сервисе haveibeenpwned.com. Скомпрометированные пароли отображаться не будут, но так хотя бы можно будет разделить список адресов на «чистые» и потенциально скомпрометированные.

Whois

who.is — вводим домен компании и в ответе получаем whois-информацию, DNS-записи и т.д.

2whois — помимо получения whois-информации сервис предоставляет онлайн-сервисы nslookup, dig, анализ DNS и многое другое.

crt.sh — еще один полезный и довольно простой в использовании сервис поиска субдоменов.

Также можно воспользоваться сервисом securitytrails.com для все того же поиска субдоменов.

hackertarget — инструмент схож с предыдущими, т.к. использует в своем арсенале инструменты с открытым исходным кодом, но в этом случае набор инструментов значительно расширен, что позволяет дополнительно использовать, например, OpenVas, Nmap, Nikto, WhatWeb и т.д.

dnsdumpster.com — умеет рисовать графы взаимосвязей и выгружать результаты в Excel, но имеет ограничение на выдачу только 100 субдоменов.

Google Dorks

Google Dork Queries (GDQ) — это набор запросов для выявления индексируемых поисковой системой страниц. Одним словом — всего, что должным образом не спрятано от поисковых роботов. Вот небольшой список команд, которые чаще всего используются:

• site — искать по конкретному сайту;
• inurl — указать на то, что искомые слова должны быть частью адреса страницы/сайта;
• intitle — оператор поиска в заголовке самой страницы;
• ext или filetype — поиск файлов конкретного типа по расширению.

Комбинируя различным образом команды для поиска можно найти практически все, вплоть до логина/пароля администратора.

Можно ли где-то найти готовые запросы для поиска информации? — Можно. На exploit-db в разделе google hacking database.

pentest-tools — полезный ресурс для сбора инормации, но в бесплатном варианте имеет множество ограничений, например, 2 сканироания в сутки. Но при этом бесплатно доступен Google Hacking, где достаточно указать домен и выбирать из предложенных вариантов поиска. Результаты поиска будут отображаться в отдельном окне

Подведем небольшой итог

Разумеется, инструментов для проведения OSINT еще очень много, но в рамках статьи упомянули на наш взгляд самые интересные и популярные. В процессе сбора информации мы смогли найти достаточное количество информации, которое может послужить плацдармом выявления уязвимостей организации и возможных точек входа в ее сетевой периметр. Таким образом, периодически производя подобные действия можно объективно понять, что и насколько подробно знает о компании потенциальный злоумышленник, находясь по ту сторону Интернета.

Однако сбор информации является лишь первым этапом пентеста. Чтобы узнать подробнее о том, к каким последствиям может привести ее правильное применение приглашаем к нам в Корпоративные лаборатории Pentestit, где каждый сможет открыть для себя что-то новое в сфере информационной безопасности. Помимо сбора информации программа обучения включает в себя: методологию тестирования на проникновение, современные веб-уязвимости (SQLi, XSS, CSRF и т.д.), безопасность DNS, форензику с использованием различных инструментов (Volatility Framework, Autopsy, FTK и т.д.), пост-эксплуатацию Windows/Linux и многое другое. А специализированные лаборатории помогут закрепить полученные навыки на практике.

• Блог компании Pentestit
• Информационная безопасность

Источник: habr.com

Spiderfoot что это за программа

Инструмент осуществляет автоматический поиск по веб-узлам, имени пользователя, никнейму, номеру телефона, адресу электронной почты и криптокошельку Биткоин.

SpiderFoot — это модульная система, которую можно дополнять внешними расширениями. Это делает его достаточно сильным автоматизированным решением для проведения расследований. И да, три расследования в месяц он позволяет сделать бесплатно.

Облако тегов

LeakedInfoBot

Лучший телеграмм бот-пробива персональной информации!

Популярное

Mega Tor — Один из лучших файлообменник в даркнете.

Лучшие боты OSINTа пробива Telegram.

​Как узнать cкрытую информацию о пользователе VK?

Лучшие боты OSINT для Telegram

Ресурсы для поиска информации о Телеграм аккаунтах

Новости, статьи и заметки по информационной безопасности.

Источник: gebutcher.blogspot.com

Spiderfoot что это за программа

Много вы знаете условно бесплатных продуктов, предназначенных для проведения расследований? Кто-то вспомнит про Maltego CE, другие — про Crystal. А я хотел бы рассказать про SpyderFoot — действительно мощный инструмент для проведения автоматизированных расследований по сетевой инфраструктуре и не только.

Подключиться к сервису можно по адресу: https://www.spiderfoot.net/. Веб-сервис имеет бесплатный тариф, в рамках которого можно провести три исследования в месяц. SpiderFoot также представлен и в виде OpenSource программного обеспечения. Из следующих роликов будет понятно, как работает сервис.

Я использовал SpiderFoot, когда мы проводили расследование в отношении сетки сайтов-отзовиков. Есть отзывы о его использовании и со стороны журналистов-расследователей.

Исследование веб-сайтов — скажете вы. Как оно применимо к обычным расследованиям. А вот применимо. Взгляните на картинку ниже.

Тут и начинается самое интересное. Сервис имеет возможность проводить расследования не только посредством изучения веб-узлов. SpyderFoot осуществляет автоматический поиск по имени пользователя, никнейму, номеру телефона, адресу электронной почты и криптокошелькам.

Да, не идеально. Но, нужно помнить, что SpyderFoot — это модульная система, которую можно дополнять внешними расширениями. Для подключения внешних API у сервиса есть отдельная вкладка. Большинство рекомендуемых API также предоставляются бесплатно. Всего внешних модулей у сервиса — более 200 штук!

Этим фишки SpyderFoot не заканчиваются. Сервис позволяет создавать собственные модули для расследований. SpiderFoot зашел так далеко, что даже создал шаблон для пользователей, желающих создавать модули. Кстати, некоторые полезные модули, сделанные пользователями, уже доступны для установки.

Рекомендую самостоятельно изучать инструмент. Да, для расследования преступлений, его нужно будет хорошенько дооснастить. Но исследовать веб-ресурсы он может уже в базе и весьма неплохо. Экономя время и силы своим пользователям. И наличие опенсорсного варианта программы и бесплатного тарифа вовсе делают его must have.

Источник: xn—-itbajbqqblqdoee3l.xn--p1ai

вам Нужен Отчет по практике ?

• Оставьте заявку на Дипломную работу
• Получите бесплатную консультацию по написанию
• Сделайте заказ и скачайте результат на сайте

Похожие работы:

Отчет по практике Программирование
Отчет по практике Программирование
Отчет по практике Программирование
Отчет по практике Программирование
Отчет по практике Программирование

Уже пробовали Студсервис?

Получите
300₽ на первый заказ

Сравнение работы программ по социальной инженерии Maltego и SpiderFoot

• Студсервис
• Готовые работы
• Отчет по практике
• Программирование

Отчет по практике

• Содержание
• Часть работы
• Список литературы

Фрагмент для ознакомления 1

Введение 3
1 Программа Maltego 4
1.1 Описание работы программы Maltego 5
1.2 Испытание программы Maltego 6
1.3 Результаты работы программы Maltego 10
2 Программа SpiderFoot 12
2.1 Описание работы программы SpiderFoot 13
2.2 Испытание программы SpiderFoot 14
2.3 Результаты работы программы SpiderFoot 17
Сравнение программ Maltego и SpiderFoot 21
Список литературы 22

Фрагмент для ознакомления 2

Введение
С развитием компьютерных сетей все большие обороты набирает такой вид деятельности как социальная инженерия. В общем виде социальная инженерия это метод воздействия на человека без использования технических средств, основываясь на человеческом факторе. С социальной инженерией неразрывно связаны процессы сбора информации.

Чтобы воздействовать на человека необходимо иметь информацию о нем. Таким образом, частью социальной инженерии является и получение информации о человеке различными способами. Для получения информации используются различные способы, телефонная связь, социальные сети, электронные почтовые ящики. Методы социальной инженерии опасны тем, что от них не спасут никаких технические средства защиты, так как социальная инженерия основывается именно на уязвимостях человеческого фактора.
В то же время можно свести риски к минимуму. Один из способов защиты это периодически проверять открытость информации степень защищенности данных, понимая, что сеть открыта для всего мира и информация может оказаться в руках злоумышленников. Для этого существуют различные технические средства, при помощи которых можно отследить информацию в сети и принять необходимые меры для устранения уязвимостей и просто посмотреть на информацию и данные глазами потенциального взломщика.

1 Программа Maltego
Первое приложение для социальной инженерии а так же противодействия ей, которое мы рассмотрим это приложение Maltego. Программа Maltego неразрывно связана с дистрибутивом Kale Linux. Дистрибутив Kale Linux является одним из особенных дистрибутивов Linux.

Данный дистрибутив предназначен прежде всего для проведения тестов на безопасность и является необходимым инструментом тестирования безопасности. Этот специализированный дистрибутив Linux содержит множество инструментов для тестирования информационной безопасности и безопасности данных. Одним из таких инструментов является приложение Maltego.
Программа предназначена для сбора информации из различных источников данных. Данный инструмент способен так же анализировать информацию и выявлять связи и отношения между фрагментами информации. Кроме сбора и анализа данных, программа отображает полученную информацию в удобном для социального инженера виде.

1.1 Описание работы программы Maltego
Рассмотрим какими возможностями обладает программа Maltego, и опишем что получает социальный инженер в результате результаты работы программы.
Maltego позволяет вычислять информацию о людях, такую как:
• Адреса электронной почты e-mail
• Web-сайты
• Аккаунты и группы в социальных сетях, номера телефонов и адреса
• Компании и организации, связанные с именем человека.
• Документы
• Фразы и надписи

Показать больше

Фрагмент для ознакомления 3

Список литературы
[1] Защита от хакеров корпоративных сетей Дэвид М. Ахмад, Идо Дубравский, Хал Флинн, Джозеф «Кингпин» Гранд, Роберт Грэм, Норис Джонсон, K2, Дэн «Эффугас» Камински, Ф. Уильям Линч, Стив Манзуик, Райян Пемех, Кен Пфеил, Рэйн Форест Паппи, Райян Расселл ISBN: 5-98453-015-5, 1-928994-70-9 Год издания: 2005 Издательство: Компания АйТи, ДМК пресс, с77-129
[2] Основы информационной безопасности. Краткий курс: В. Л. Цирлов — Москва, Феникс, 2008 г.- 256 с
[3] Информационная безопасность: В. П. Мельников, С. А. Клейменов, А. М. Петраков — Москва, Академия, 2011 г.- 336 с.

Источник: studservis.ru