Osint что за программа

OSINT (Open Source INTelligence) — разведка по открытым источникам.

Что это такое, кем и зачем применяется и для чего может пригодиться вам?

Задолго до Интернета разведки всего мира 80 % данных получали из открытых источников: газет, интервью, радио и телепередач.

• Широко известна история, как в конце 1950-х годов в ЦРУ узнали о схеме электрификации Урала и предприятий ядерной промышленности региона благодаря фотографии в журнале «Огонек».

В эпоху сетей поиск и обработка открытой, условно открытой и полуоткрытой информации превратилось с мощнейшую отрасль информационной работы, получившую название OSINT — Open Source INTelligence .

Ее широко используют спецслужбы, но в отличие от методов разведки, методики доступны практически любому человеку.

ЗАЧЕМ НУЖЕН OSINT?

Для разведок всего мира нужность OSINT очевидна. Однако кого-то может удивить, что методики и инструменты открытой разведки не только не засекречены, но, напротив, совершенно общедоступны.

Что такое OSINT

В первую очередь, потому что это открывает потрясающие возможности экономии собственных ресурсов спецслужб.

• Настоящие штатные специалисты информационной разведки — штучные, высокооплачиваемые профессионалы, закрытые и засекреченные, но они никак не могут решить все задачи.

Преимущество OSINT в том, что она не предполагает доступа к секретным данным, а значит, может быть отдана на аутсорс коммерческим организациям и даже единичным подрядчикам на договоре. Чаще всего они даже не знают конечной цели поиска, рутинно отрабатывая мониторинг каких-то вполне на вид бытовых тем, и уже результаты их работы становятся материалом для аналитиков следующего уровня.

Однако это же раскрывает широчайшие возможности для конверсии технологии и применения ее в коммерческих и личных целях.

Большинство из нас прибегает к методикам OSINT вполне регулярно, ничуть не чувствуя себя Штирлицем. Например, собираясь в отпуск, мы сравниваем цены и условия, читаем отзывы, рассматриваем фотографии, пролистываем в соцсетях посты тех, кто уже съездил, — это совершенно обычная деятельность, которая, между тем, с полным правом может быть названа OSINT- исследованием.

• На инструментах OSINT базируется 90% современных журналистских расследований.
• При этом методы OSINT помогают соблюдать информационную гигиену — большинство фейковых новостей достаточно легко опровергнуть через поиск по изображениям, текстам и источникам.

Бытовые OSINT- методики помогают избежать обмана и отчасти защищают от «социальных» технологий мошенничества. Так например, если для «сбора денег на операцию ребенку» используется фотография с фотостока, это, скорее всего, жулики.

Несложная OSINT- проверка позволяет принять обоснованное решение по выбору работодателя, исполнителя или заказчика. (Нет ли в сети жалоб на его недобросовестность? Не являются ли положительные отзывы на него бот-накруткой?)

ТЕХНОЛОГИИ OSINT

Технологии OSINT делятся на активные и пассивные. Активные предполагают удаленное взаимодействие с объектом исследования — от переписки до воздействия на защитные системы, поэтому выходят за рамки этой статьи.

Основы OSINT. Примеры деанона

• По закону OSINT — нормальная практика, но только пока она находится в «белой зоне». Важно понимать, что не всегда то, к чему вы можете получить доступ, — легально.

Например, через Shodan (поисковик по интернету вещей) можно добраться до управления какой-то из систем, как личных, так и корпоративных. Но любая попытка взаимодействия с ними юридически квалифицируется как попытка взлома и является наказуемым деянием.

Для абсолютного большинства задач достаточно пассивных методов и легальных инструментов. В OSINT все решает квалификация аналитика, любые инструменты вторичны. Нередко ключевыми факторами для решения задачи становятся такие нюансы, как расположение теней на фото или необычное время активности в соцсетях.

В рамках OSINT 90 % информации дает обычное чтение — постов, новостей, комментариев и так далее. Но есть и способы легального расширения информационной воронки.

• Метаданные файлов — позволяют уточнить дату создания документа, имена пользователей, модели принтеров, ПО, установленное на компьютерах, иногда геолокацию. Зачастую это помогает отличить реальный документ от фейкового.
• Поиск по изображениям — позволяет выяснить, действительно ли данное фото относится к этому событию, или это просто взятая из сети картинка.
• Непубличная документация — из-за человеческого фактора множество документов, не предназначенных для всеобщего сведения, находятся в свободном доступе. Например, из-за небрежного хранения в открытых папках в Гугл-документах. Ознакомление с ними в этом случае не нарушает законов.
• Данные о домене — множество отрытых данных, позволяющих уточнить данные об источнике, а также проверить его достоверность. Е-мейлы, телефоны, факсы, технологии, на которых построен сайт, криптографические сертификаты, субдомены — все это много скажет опытному человеку.
• Интернет вещей — без всякого взлома, просто через индексацию устройств: сервера, роутеры, камеры видеонаблюдения, вебкамеры, онлайн-накопители и т. д. Это даст техническую информацию, например, запущенные сервисы, провайдера, геолокацию.

Это весьма неполный перечень, просто для общего понимания.

ИНСТРУМЕНТЫ OSINT

Общедоступных инструментов сотни, платных — десятки, продвинутых, с использованием элементов ИИ и технологий bigdata — единицы (среди них есть как закрытые, так и коммерческие системы).

Однако мало кто знает, как много можно найти обычным поиском в Google , используя Dorks — запросы со специальными операторами. Совершенно легальный и бесплатный инструмент, которым надо просто уметь пользоваться.

Приведем несколько примеров специализированных сервисов и ПО, скорее, для того чтобы сориентировать, какие они вообще бывают.

• Emailsherlock — автоматический поиск по email- адресу. Найдет, к каким сайтам привязан адрес почты.
• WhatsMyName — сервис поиска никнейма на сайтах, в соцсетях, по тематическим форумам и сайтам знакомств. Люди склонны использовать один ник во многих местах.
• Email2phonenumber — собирает данные со страниц восстановления аккаунта во множестве сервисов и находит номер телефона, что позволяет привязать его к емейлу.
• Shodan — поисковик по устройствам, подключенным к сети: интернет вещей, камеры, веб-приложения и так далее.
• Maltego — ПО для визуализации данных, собранных при помощи OSINT .
• Foca — программа для извлечения и анализа метаданных с веб-страницы или документа.

Каждая из этих программ имеет множество аналогов.

МОЖНО ЛИ ЗАЩИТИТЬСЯ ОТ OSINT

Если вам кажется, что использование OSINT ведет к деприватизации данных практически всех пользователей интернета, то вам не кажется.

• Анонимность в сети — вещь совершенно иллюзорная, и ваши личные данные могут быть относительно несложными путями получены не только спецслужбами, а вообще любым, кто не пожалеет на это времени и сил.

Увы, это может быть использовано в том числе и в дурных целях — от мошенничества, основанного на социальной инженерии, до буквального преследования.

Что тут скажешь? Жизнь вообще полна опасностей.

• Специалисты в один голос утверждают, что защититься от этого невозможно по определению.

Можно затруднить работу OSINT — не заводить соцсети, избегать привязки ИНН, почты и телефона к веб-сервисам, минимизировать контакты с государственными институтами и так далее. Но жизнь шпиона-подпольщика-ассасина трудна, так что проще смириться с тем, что все мы живем довольно-таки открытой жизнью.

Возможно, небольшим утешением послужит то, что OSINT работает в обе стороны, и вам тоже никто не запрещает использовать легальные методы доступа к открытой информации для утоления своего любопытства.

Источник: dzen.ru

Что такое OSINT и чем он полезен

OSINT (Open Source Intelligence Techniques) – это сбор и анализ информации из публично доступных источников. Еще вы можете встретить термин «интернет-разведка», что по смыслу приравнивается к OSINT. В нынешних реалиях основным источником получения информации является интернет.

История OSINT началась с формирования в декабре 1941 года Службы мониторинга зарубежных трансляций в США для изучения иностранных трансляций. Сотрудники записывали и переводили радио передачи, а затем отправляли в военные ведомства в виде еженедельных отчетов.
Следующем этапом можно назвать период с 2005 по 2009 год, когда в США был создан центр по анализу разведывательных материалов из открытых источников. Доступность интернета и начавшийся бурный рост социальных сетей увеличил количество общедоступной информации.
С 2009 по 2016 продолжается развитие социальных сетей и усиливается их влияние на нашу жизнь. Появляется интернет вещей. Все эти факторы вызвали бурный рост объема информации.
С 2016 года OSINT начинает активно применяться бизнесами, политическими кампаниями, следователями, правоохранительными органами, инвесторами и службами безопасности в их деятельности.

Открытые источники играют ключевую роль
Еще в 1947 году один из аналитиков ЦРУ Кен Шерман сообщил, что порядка 80% информации страна собирает из открытых источников в сети.
Немногим позже руководитель РУМО Соединенных Штатов Самуэль Уилсон рассказал, что 90% данных по разведке также получают из открытых источников, а оставшиеся 10% приходятся на профессиональную работу агентов и шпионов.
Вот такой современный «Джеймс Бонд», заключенный в поисковую строку интернета.

• гораздо меньше рисков: вы не нарушаете чью-то приватность и законы;
• дешевле: не нужно дополнительного оборудования и дорогой софт;
• легко получить доступ к актуальной информации, достаточно зайти в интернет;

Сила OSINT – цифровой след
Интернет стал цифровым отображением нашей жизни. Пользователи заводят аккаунты в социальных сетях, оставляют комментарии, делают лайки, репосты, регистрируются на различных сайтах. Эту информацию можно собрать и использовать, например, в рекрутинге.

Ресурсов, где пользователь может оставить о себе информацию, множество:

Почему не Google, а OSINT?
Google не создан для того, чтобы выдавать вам нужный результат. Как только вы начинаете использовать инструменты OSINT вы видите уведомление

Google как будто бы скрывает то, что считает нужным вам не показывать, и выдает только 300 первых результатов, хотя найдено гораздо больше.

• Бесплатные
• Временно бесплатные
• Платные

Подобных инструментов много.

Основные этапы OSINT
1. Составление плана исследования или определение цели.
2. Подготовка оборудования и программы, необходимые для решения поставленной задачи.
3. Выполнение поиска по всем доступным идентификаторам.
4. Сбор информации.
5. Анализ полученных данных.
6. Подготовка заключения и результатов.
7. Архивирование или очистка оборудования.

• Поиск резюме
• Поиск кандидатов
• Поиск контактов
• Сбор информации о кандидате
• Поиск списков кандидатов

Примеры инструментов OSINT

• site:linkedin.com/in («at Facebook» OR intitle:Facebook) «present 1..6 months»
• Этой частью ищем тех, кто работает 1-6 месяцев
• Цифры можно менять
• site:linkedin.com/in («at Facebook» OR intitle:Facebook) «present 1..3 years»
• А так ищем в годах, цифры тоже можно менять

• Ставим ее с оператором intitle:
• site:linkedin.com/in «Spanish native» intitle:Translator «London, United Kingdom»
• Если должность из 2 и более слов – берем в кавычки

• («looking for a position *» OR «open to» OR «I am seeking new» OR «in search of» OR «seeking for a» OR «seeking job at» OR «I am unemployed» OR «unemployed» OR «new opportunities» OR «new opportunity» OR «new job» OR «available for» OR «seeking role*» OR «seeking work» OR «actively seeking at» OR «seeking full time» OR «seeking opportunity» OR «looking for» OR «открыт к» OR «открыта к» OR «в поиске должности» OR «новых возможностей» OR «новой возможности»)
• Больше 32 слов, поэтому предлагаю короткую версию

• site:linkedin.com/in «(open OR looking OR seeking OR открыт OR открыта OR поиске) (job OR to OR for OR new OR к OR для)» «(to OR new OR seeking) (opportunities OR opportunity OR возможностей OR должности)»

• site:linkedin.com/in (developer OR «senior developer») («relocation to» OR «open * relocation» OR «willing * move» OR «will * relocate» OR «willing * relocate» OR «ready * relocate» OR «able * relocate» OR «ability * relocate» OR «open * relocate») -recruiter -inurl:dir

• site:ua.linkedin.com/in Java Developer «email * * com|net|org|ru|ua|kz|by» -recruiter

• site:ua.linkedin.com/in ( OR OR OR ☎️ OR ☏ OR ✆ OR ✉️ OR )

Все перечисленные выше запросы строятся на предположениях.

Tilda

например, поиск дизайнеров в Москве

• site:tilda.ws intitle:резюме OR intitle:resume OR intitle:CV OR intitle:vitae OR intitle:»о себе» OR inurl:резюме OR inurl:CV OR inurl:resume дизайнер Москва
• Восходящая звезда

• inurl:/wp-content/uploads/ (CV OR resume OR «curriculum vitae»)

• Анализ рынка
• Анализ мнения клиентов
• Сбор информации о конкурентах по их сотрудникам
• Сбор информации о клиенте/потенциальном клиенте
• Генерация лидов

Примеры поисковых запросов, если необходимо разместить нативную рекламу

• «ниша/сфера» intext:«партнерский»
• «ниша/сфера» intext:«партнерский» inurl:promo
• «ниша/сфера» intext:«партнерский материал»
• «ниша/сфера» intext: спецпроект inurl:special
• «ниша/сфера» intext:«материал подготовлен при поддержке»

OSINT применяется и в журналистике

• Проведение журналистских расследований
• Сбор фактов
• Факт-чекинг
• Поиск людей
• Поиск контактов

Вот здесь можно почитать журналистамhttps://www.aware-online.com/en/osint-tutorials/

• Подсчет количества людей на демонстрациях по фото
• Поиск свидетелей с помощью Strava
• Поиск свежих Youtube видео
• Как скачать Twitter видео
• Поиск телеграмм групп по локации

Пример Bellingcat – организация журналистов, которые провели много исследований. Они опубликовали свой набор инструментов для каждого направления

• https://ru.bellingcat.com

По ссылке крупнейшая база бизнеса в мире https://data.occrp.org

Еще одна ссылка в качестве примера https://osintframework.com

А по этой ссылке можно найти пользователя, например по username https://namecheckup.com

Этика OSINT
Я выделяю 5 основных этических принципов, которыми рекомендую руководствоваться в работе с инструментами OSINT:

• Использование в соответствии с законодательством и в легальном поле
• Использование только для решения задач
• Не раскрытие данных, найденных с помощью OSINT
• Не нанесение вреда с помощью OSINT
• Не использование OSINT в преступной деятельности или пособничестве в таковой

Уровни OSINT

• Базовый (Google Dorks) = inurl, site, related, ext, intitle
• Продвинутый = плагины, сервисы, Google CSE
• Глубокий = VM, Python, Linux, Android Emulation, Maltego
• Хакерский = даркнет, инструменты хакинга, IoT (Shodan)
• Социальная инженерия = Кевин Митник

Так выглядит глубокий уровень OSINT

https://habr.com/ru/post/488432/
Сравнение индексаций БД-никнеймов подобных инструментов

Основные направления, по которым осуществляется деятельность OSINT

• Поисковые движки
• Фейсбук
• Твиттер
• Инстаграм
• Другие, включая Linkedin
• Онлайн сообщества
• E-mail адресы
• Никнеймы
• Поиск людей
• Телефонные номера
• Онлайн карты
• Картинки
• Видео
• Адреса сайтов
• IP Адреса
• Государственные реестры
• Виртуальные валюты
• Сливы информации

Какими Soft skills должен обладать человек, работающий с инструментами OSINT:

• Энтузиазм – готовность часами решать проблему;
• Любознательность — постоянное изучение как все работает, как обойти сложности;
• Гибкость – постоянно что-то перестает работать и нужно гибко реагировать на это;
• Непрерывное обучение – регулярно появляются новые знания и инструменты, нужна готовность их изучать;
• Экспериментирование – готовность пробовать новые подходы, готовность к тому, что сработавшее у других, может не сработать у вас.

А вы знаете:

• Как искать только по файлам PDF?
• Как отобразить только данные за 2019 год?
• Как искать только среди сайтов зоны .ua или .by?
• Как найти сайты, в адресе которых есть слово ”resume”?
• Как найти все сайты со словом «резюме», но без слова «образец»?
• Как найти все PDF файлы на сайте mail.ru?
• Как найти в Linkedin тех, кто не работает сейчас?

И это только основы OSINT ☺

Владея арсеналом инструментов OSINT, вы сразу войдете в ТОП 5% своей профессии и сможете зарабатывать больше.

Курс для профессионального изучения инструментов OSINT по ссылке https://pritula.academy/osint

• https://start.me/p/ZME8nR/osint
• https://www.aware-online.com/en/osint-tutorials/
• https://osintcurio.us

Источник: pritula.academy

Osint что за программа

Основные источники OSINT, которые используются в информационной безопасности

Любая информация в публичном доступе может оказаться опасной. Социальные сети, фотографии, данные из профилей и сайтов третьих сторон, публичная документация и т.д. Ведь в совокупности с другими данными она может рассказать хакерам то, что они ищут.

Остановимся на основных направлениях, которые специалисты по информационной безопасности исследуют на регулярной основе.

1. Метаданные файлов.

В них можно найти дату создания документа, имена пользователей, модели принтеров, ПО установленное на компьютерах, иногда геолокацию. Информация про установленные программы и их версии, например, даст возможность выбрать наиболее уязвимые и подобрать эксплойты. Имена пользователей, в свою очередь, станут потенциальными логинами в личные или корпоративные системы.

2. Конфиденциальная документация.

Даже в самых продвинутых компаниях и серьезных государственных структурах какой-то засекреченный документ может случайно оказаться в открытом доступе. Примеры, как искать такие документы, можно посмотреть в лекциях Андрея Масаловича . Конфиденциальная информация может включать в себя политику создания паролей, а также используемое ПО и сервисы.

3. Данные о домене.

Существует очень много инструментов, которые помогают собрать все данные с сайта (в том числе, которые не видны обычным пользователям). Например:

• е-мейлы,
• телефоны,
• факсы,
• технологии, на которых построен сайт,
• криптографические сертификаты, которые используются на конкретном домене.

После исследования основного домена стоит поизучать, как компания организует свои Интернет-ресурсы. Среди субдоменов обычно есть плохо защищенные сайты для тестирования новых технологий. Такие субдомены могут содержать какие-то важные документы, оставленные на сервере.

4. Серверные веб-приложения, интернет вещей. Индексироваться могут сервера, роутеры, камеры видеонаблюдения, вебкамеры, онлайн накопители и т.д. Кроме того, что к некоторым можно получить доступ просто пройдя по ссылке, эти девайсы содержат в себе техническую информацию. Геолокацию, открытые порты, запущенные сервисы, доменное имя, связанное с устройством, интернет провайдера, веб-технологии.

Обучение OSINT для использования в информационной безопасности

Чтобы на базовом уровне изучить OSINT и начать проводить небольшие исследования, вам хватит пары дней.

Для погружения в тему и изучения отдельных аспектов стоит почитать следующие книги:

• Бизнес-разведка , Александр Доронин;

• Open Source Intelligence Techniques , Michael Bazzell;

Развитие в OSINT делится примерно не следующие этапы:

1. Освоение базовых техник, вроде Google dorks (продвинутый поиск в Гугл). Для этого – читайте блоги специалистов или специализирующихся компаний. Например:

• Hrazvedka – в разделе «Разведнет» можно найти подборки разных инструментов. Кроме этого в блоге собираются видео, статьи, книги, фильмы по теме на русском;
• Sector035 – еженедельные подборки с новыми техниками и инструментами;
• OSINT Curious – кроме блога у них есть вебкаст, куда приглашают гостей и обсуждают новости;
• Aware Online ;
• значительная тусовка собрана в Твиттере: i-intelligence , Dutch OSINT Guy , Henk van Ess . В этой подборке можно найти и других деятелей, на которых будет интересно подписаться.

2. Начинайте применять знания в деле. Ищите интересные подходы использования инструментов и техник и пробуйте писать об этом небольшие отчеты с визуализацией результатов. Своими инсайтами делитесь в Твиттере, добавляя соответствующие хэштеги или в комьюнити на Reddit .

Необходимые для разведки инструменты есть в подборках:

3. Станьте максимально анонимным . При изучении OSINT значительное время уделяется обеспечению своей безопасности при поиске. Это нужно, чтобы компания или человек не смогли распознать, что вы собираете какую-то информацию. Вот несколько практик:

• создание фейковых профилей;
• использование андроид-эмуляторов (вы заходите в мобильные приложения через специальную программу на компьютере);
• VPN;
• браузер Tor;
• правила, вроде того, что не стоит осуществлять разведку в одно и то же время дня. Это может выдать даже самых искусных хакеров.

В какой мере обеспечивать себя анонимностью зависит от того, что за цель перед вами стоит. Не нужно заводить множество аккаунтов в соцсетях, если вам не понадобиться проводить там исследования. Или устанавливать защитное ПО просто для того, чтобы поискать географические данные на карте.

Много материалов по этому поводу можно найти в выше описанных блогах и книгах. Вот один из них.

4. Изучайте более продвинутые инструменты , для которых необходимо знание:

• Kali Linux. Есть много инструментов OSINT, которые работают только на этой операционной системе.
• Python – работа с некоторыми инструментами требует знания синтаксиса языка.

5. Пробуйте самостоятельно писать на Python автоматизирующие инструменты по сбору и анализу информации.

Инструменты OSINT в информационной безопасности

1. Shodan – поисковик по устройствам, подключенным к сети (в т.ч. интернет вещей и веб-приложения). Раздел «Explore» поможет начать поиски, так как туда собираются запросы пользователей. Чтобы получить доступ к расширенному поиску, надо зарегистрироваться. В платных версиях у вас будет доступ к большему количеству устройств, а также неограниченное количество поисковых запросов в сутки. Руководство по Shodan на русском (ссылка для скачивания).

2. Maltego Maltego – ПО, которое собирает все данные вместе, помогает увидеть взаимосвязи и сделать выводы. Результат визуализируется в виде дерева, собирающего в единую систему IP-адреса, е-мейлы, телефоны, домены и т.д. Есть три версии клиента, но большинству специалистов будет достаточно бесплатной. Туториалы по Мальтего: на русском и английском (они разные).

3. Google Dorks – это запросы в Гугл с использованием специальных операторов. Вы наверняка слышали, что для поиска точного словосочетания нужно поставить слова в кавычки, а чтобы исключить какое-то слово из выдачи, необходимо поставить перед ним «-». Это как раз про Гугл доркинг. Здесь вы найдете базовые операторы, а здесь – огромное количество дорков для поиска уязвимостей.

4. Foca – программа, которая помогает с выгрузкой, классификацией и анализом файлов на удаленном веб-сервере. Для этого она сканирует определенный домен с помощью поисковиков Google, Bing, DuckDuckGo. ПО бесплатное и быстро устанавливается. В этом материале можно найти небольшую инструкцию, как пользоваться программой.

5. Spyse – поисковик по технической информации веб-сайтов. С его помощью вы найдете разнообразные данные, вроде уязвимостей, IP-адресов, субдоменов и SSL/TLS.

Заключение

OSINT поможет вам сократить время и деньги при поиске информации, а изученные инструменты и техники будут полезны и за пределами профессиональной деятельности.

Хочу научиться программировать с нуля, но не знаю, с чего начать. Что делать?

Можно учиться самостоятельно (долго) или пойти на курсы с преподавателями (быстро). Плюс нужно учитывать, что джунов много, конкуренция выше и работодатели повышают порог вхождения при найме на работу. Чтобы получить актуальные знания, мы в proglib.academy запустили курсы:

• Основы программирования на Python.
• Профессия Python-разработчик.
• Алгоритмы и структуры данных.
• Математика для Data Science.
• Профессия Data Science.
• Frontend Basic: принцип работы современного веба.
• Профессия Фронтенд-разработчик.
• Обработка естественного языка. Полный курс.

На подходе еще больше 10 курсов для взрослых и детей.

Источник: proglib.io