Инструментарий OSINT-специалиста Как устроена разведка по открытым источникам

OSINT-методики часто берут числом: ни одна разведка в мире не может позволить себе столько кадровых специалистов, сколько находится добровольцев, готовых помочь своей стране в свободное время. Этот принцип определяет базовые требования к инструментарию OSINT-специалиста: они отсутствуют.

ИНСТРУМЕНТЫ ДЛЯ СБОРА ДАННЫХ

Чтобы провести OSINT-исследование, достаточно компьютера (любого), браузера (любого) и доступа в интернет. В этом главная «фишка» — ​открытая информация может быть получена открытым способом. Однако, сидя перед компьютером, было бы странно пренебрегать возможностями по автоматизации сбора информации.

ВЕб-сКрЕЙПиНг (wЕb sСrАРiNg)

Технология извлечения информации с сайтов позволяет получить «чистый» контент без форматирования, элементов дизайна, рекламы и других лишних частей. Наиболее популярные инструменты — ​Octoparse, Scrapy, Python-библиотека Beautiful Soup. Минусы в том, что на части сайтов скрейпинг программно запрещен, а при «очистке» веб-страницы может потеряться что-то важное.

ПОисКоВые сиСтЕмЫ

Даже обычные поисковики, «Яндекс» или Google, имеют встроенную систему фильтров и поисковых команд. И все же в качестве OSINT-инструментов они не очень удобны. Прежде всего из-за коммерчески таргетированной выдачи, во вторую очередь — ​из-за фильтрации результатов в соответствии с локальными законодательными требованиями, в‑третьих — ​из-за «встречного сбора информации»: когда вы ищете что-то в Google, он узнает о вас больше, чем вы о предмете поисков. Потому многие предпочитают использовать альтернативные и узконаправленные поисковики: DuckDuckGo для общего поиска, Wayback Machine для поиска в веб-архивах, Pipl или SpravkaRU.NET для поиска людей, TinEye для поиска по фотографиям и так далее.

АНАлиз иСтоЧНиКов

Инструменты получения информации об источниках — ​в OSINT-исследованиях информация о сайте зачастую значит больше, чем информация с сайта, потому что определяет принадлежность и ценность (вес) источника. Для ее получения используют инструменты веб-анализа, такие как, например, WHOIS Lookup, предоставляющий информацию о регистрации доменных имен, DNSdumpster, позволяющий обнаружить хосты, связанные с доменом, и тому подобное.

ИНСТРУМЕНТЫ МОНИТОРИНГА СОЦМЕДИА

Информация из социальных сетей чрезвычайно ценна для OSINT-исследователя, при этом работа с соцмедиа считается одним из самых сложных направлений. На это есть две причины: алгоритмический таргетинг и технологическая защищенность платформ. Социальные сети выдают контент на основе программного профиля пользователя, создавая эффект «информационного пузыря», и это крайне затрудняет свободный поиск. Недаром говорят, что «у каждого свой Facebook*». Второй аспект связан с тем, что владельцы соцмедиа-платформ не пускают к себе внешние поисковики, блокируя их на программном уровне. Информация о пользователях — ​это их товар, и они не хотят делиться им бесплатно.

FАceВОok*

Среди инструментов для работы с соцсетью выделяется Snowdust, позволяющий выполнять поиск сообщений от определенного пользователя/страницы, Facebook Graph Search от Intelligence X, умеющий вести поиск людей, сообщений, событий, мест, видео и фотографий, поисковый идентификатор Lookup-ID, который помогает искать профили пользователей.

X (БыВШий ТwitТer)

Вторая «сверхмассовая» западная платформа более лояльна к мониторингу, потому что имеет собственный механизм поиска. Однако удобнее использовать TweetDeck — ​инструмент, который облегчает отслеживание нескольких временных линий, управление множественными учетными записями и мониторинг нужных хештегов, упоминаний или ключевых слов.

TЕLЕgrАm

Мессенджер превратился в одну из лидирующих медийных платформ. Его большое преимущество — ​отсутствие систем таргетинга, рекомендательных алгоритмов и цензурных механик. Telegram на сегодня максимально лоялен к мониторингу, допуская достаточно свободный поиск и категоризацию через общедоступные инструменты, например TGstat.

СИсТЕмЫ дЛя ­мАРкЕТИНГОвЫх исСлЕдОВАНий

Коммерческие системы, предназначенные для отслеживания упоминаний брендов и персоналий в медийном пространстве, могут использоваться для решения OSINT-задач. Примером могут служить продукты Brand Analytics или «Катюша».

* Принадлежит компании Meta, признанной экстремистской на территории РФ.

ИНСТРУМЕНТЫ ГЕОРАЗВЕДКИ

Вопрос «где это происходит?» часто является ключевым. Поэтому геопространственная разведка (GEOINT) выделена в отдельное крупное направление работы как осинтеров, так и специальных служб. GEOINT в значительной мере пересекается с IMINT (Imagery Intelligence), так как поиск людей, транспорта и локаций чаще всего связан с анализом изображений. Источниками информации могут служить выложенные в сетях фотографии (простые и спутниковые), съемки с БПЛА.

СПУтНикОвЫе сНИмки

Для решения многих задач GEOINT подходят всем известные Google Maps и Google Earth, Bing Maps, OpenStreerMap. Однако их снимки не всегда актуальны и даже подвергаются намеренным искажениям.

Поэтому иногда стоит обратить внимание на сервисы более узкой специализации. Например, NASA Worldview позволяет смотреть на планету со спутника практически в режиме реального времени (задержка обычно не более трех часов). Если нужны спутниковые снимки высокого разрешения, может помочь Mapbox — ​сервис использует изображения с коммерческих спутников, таких как DigitalGlobe, Esri World Imagery (это спутниковые карты с разрешением до 3 см). Еще вариант — ​Planet Explorer: спутниковые карты с более чем 120 микроспутников с ежедневным обновлением.

Если нужно рассмотреть ситуацию в динамике, Esri’s Wayback Atlas и World Imagery Wayback позволяют просматривать снимки за несколько лет по датам. Для поиска снимков удобно использовать сервис Image Hunter.

ФОтоГрАФии мЕСтнОсти

Если нужна более «приземленная» картинка, иногда ее можно получить с общедоступных веб-камер. Esri и некоторые другие ресурсы показывают, где они находятся, и дают доступ к видеопотоку.

ПОиСк лЮдЕЙ и трАНСпОРтА

Пользователей соцсетей находят по их геометкам. Программы с открытым кодом Geogramint, Telegram Trilateration или Telegram Nearby Map позволяют обнаружить пользователей Telegram. Наблюдать за движением воздушного и морского транспорта достаточно точно помогают MarineTraffic и FlightRadar24. Корабли отслеживают с помощью автоматической идентификационной системы AIS, использование которой обязательно для всех судов вместимостью более 300 кубо­метров. Поезда находят с помощью международного ресурса TRAVIC. Международные грузы отображаются на сервисе Container Tracking.

ИНСТРУМЕНТЫ ЦИФРОВОЙ КРИМИНАЛИСТИКИ

Часто под цифровой криминалистикой подразумевают инструменты доступа к данным на устройствах, которые позволяют анализировать жесткие диски и память смартфонов для извлечения полезной информации. OSINT-исследователи понимают криминалистику в широком смысле — ​как совокупность способов восстановить цепочку событий по имеющимся данным.

ИСТоЧНикОВеДЕниЕ

Выложенные в соцсетях, СМИ и других источниках медиафайлы могут оказаться снятыми в другом месте и в другое время, фальсифицированными или даже сгенерированными нейросетями. Для точного сопоставления времени, места и события используются специальные калькуляторы, например SunCalc — ​инструмент, который определяет восходы и закаты солнца по местоположению. Сервис MapChecking подсчитывает максимальное количество людей, стоящих в любой заданной области; это помогает уточнить, например, сколько человек участвовало в массовом мероприятии.

ВЕриФикАЦия изОБражЕНий

Для исследования снимков и видео на подлинность используются инструменты фейк-контроля, позволяющие с приемлемой точностью определить, редактировался ли кадр и не является ли он нейросетевой генерацией. К числу таких сервисов можно отнести коммерческую онлайн-платформу Sensity Deepfake Detection, специализирующуюся на выявлении контента, созданного генеративно-состязательными нейросетями, FakeCatcher — ​онлайн-сервис, позволяющий в реальном времени обнаружить фейковое видео, FotoForensics — ​сервис, используемый криминалистами всего мира для определения изображений, подвергшихся постобработке, а также ExifTool — ​приложение для чтения, записи и анализа метаинформации фотоснимков.

ИНтЕрнЕт вЕЩей

Для уточнения и верификации полученных сведений их бывает целесообразно соотнести с данными, полученными от устройств IoT (Internet of things, интернет вещей). Для этого используется сервис Shodan — ​поисковая система по IoT. Она дает доступ к спискам наружных камер наблюдения и компьютерных веб-камер, промышленным системам управления (Industrial Control System, ICS), их геоданным. Использование Shodan иногда позволяет получить самую оперативную и точную информацию с места событий.

ИНСТРУМЕНТЫ АНАЛИЗА ДАННЫХ

Сбор информации — ​это меньше чем половина задачи в OSINT-исследовании. Получить из набора данных стройную, логичную и верифицированную картину происходящего позволяют инструменты анализа.

Примером мощнейшей, однако закрытой и дорогой системы служит Palantir Technologies, платформа для анализа больших данных и выработки стратегических и тактических решений. Продукт широко известен как военная технология, хотя его можно использовать практически для любого аналитического расследования. OSINT-специалисты анализируют открытую информацию с помощью инструментов, находящихся в открытом доступе.

ТАБЛицЫ и ГрАФиКи

ПО для визуализации данных создает статистические таблицы и визуальные графы как на стадии предварительной фильтрации, так и на этапе финального анализа. Наиболее массовый инструмент для этого — ​обычный Microsoft Excel. Табличный процессор используется для сортировки, фильтрации и базового анализа данных, структурирования, построения диаграмм. В нем скрыто множество неочевидных функций и глубоких возможностей, включая элементы программирования, позволяющие создавать собственные аналитические сценарии.

АНаЛиз сВЯзЕй

К более специфичным инструментам можно отнести такие, как Maltego — ​мощное ПО для анализа связей с целью выявления отношений и сетей между субъектами (людьми, организациями, веб-сайтами и т. д.) на основе данных из различных источников. Maltego может автоматически анализировать разведданные из нескольких источников с помощью плагинов веб-парсинга (считывания информации с интернет-страниц). Эту программу использует для поиска преступников Интерпол, но благодаря платформе с открытым исходным кодом она может быть задействована любым желающим.

OSINT FRamЕwОrks

Проект OSINT Frameworks — ​своеобразный «мультитул» аналитика для расследований. Это не отдельный инструмент, а скорее структурированное руководство, которое помогает пользователям ориентироваться в огромном количестве инструментов OSINT. Прекрасно категоризированный источник включает в себя репозиторий ПО и рекомендации по его использованию, а также освещает этические и юридические тонкости OSINT. К сожалению, универсальность OSINT Frameworks является не только плюсом, но и минусом — ​платформа ориентирована на «глобальные» инструменты и не учитывает национальные специфики, в частности российские. Это ограничивает ее применение в наших условиях.

ИНСТРУМЕНТЫ АНОНИМИЗАЦИИ

OSINT — ​хотя и специфическая, но тем не менее разведывательная деятельность. Использование как условно открытых, так и коммерческих сервисов делает вас не только исследователем, но и объектом исследования. Чтобы обеспечить себе безопасность, осинтеру следует соблюдать два принципа. Первый: осознавать последствия своих действий и не заниматься OSINT «от нечего делать» или «для развлечения». Второй: непрерывно контролировать собственную анонимность в процессе проведения расследования и особенно при публикации его результатов.

ЖЕЛезО и оПЕрА­ционНая сИстЕма

Опытные исследователи используют для работы отдельный компьютер. Если его нет, можно установить специальные операционные системы и загружать их вместо основной. Примеры — ​Tails или Whonix, дистрибутивы на основе GNU/Linux Debian, созданные для обеспечения приватности и анонимности. Как минимум можно пользоваться ПО, подменяющим данные о компьютере для браузера, например User-Agent Switcher.

VPN

Выбирать VPN следует очень тщательно, учитывая, что многие коммерческие и почти все бесплатные сервисы сохраняют информацию о пользователях. Наиболее надежный вариант — собственный VPN-сервер на зарубежном хостинге.

БРАУЗЕР

Применение браузера Tor затрудняет отслеживание активности пользователя. Однако надо учитывать, что сам Tor-трафик достаточно специфичен и может быть отмечен интернет-провайдером.

ПАВЕЛ ИЕВЛЕВ, СИСТЕМНЫЙ АНАЛИТИК, ЭКСПЕРТ В ОБЛАСТИ ИНФОРМАЦИОННЫХ ИССЛЕДОВАНИЙ

Потенциально искусственный интеллект может полностью вытеснить OSINT как явление. По словам Кай-Фу Ли, генерального директора китайской венчурной компании Sinovation Ventures, технологии ИИ стали «третьей революцией в вооружении» после изобретения пороха и ядерного оружия. Такие программные инструменты, как Palantir AI, Primer AI и Clearview AI, уже сейчас активно применяются в рамках межгосударственных конфликтов. Как заявляют в Palantir Technologies, предоставляемые компанией ИИ-решения полностью удовлетворяют потребность в ситуационной осведомленности, которая включает в себя стратегический анализ, обнаружение угроз и проведение информационных операций. Возможно, ИИ-OSINT вскоре существенно потеснит живых исследователей.

Читайте также курс домашней разведки для чайников: