150+ хакерских поисковых систем и инструментов

Все таргетированные хакерские атаки начинаются с разведки. Социальные инженеры, красные команды и отдельные пентестеры также собирают информацию о своих целях перед тем, как перейти к активным действиям. Им помогают десятки инструментов и хаков. Под катом ссылки на некоторые из них.

Пост состоит из 8 объемных разделов:

1. метапоисковики и поисковые комбайны;

2. инструменты для работы с дорками;

3. поиск по электронной почте и логинам;

4. поиск по номерам телефонов;

5. поиск в сети TOR;

6. поиск по интернету вещей, IP, доменам и поддоменам;

7. поиск данных об уязвимостях и индикаторов компрометации;

8. поиск по исходному коду.

В этом списке собраны инструменты, которые члены нашей команды используют в работе. И все же, эта подборка пригодится не только пентестерам, но и разработчикам, журналистам, HR, маркетологам и всем, кто много ищет в интернете. Знания — это сила. Используйте их во благо.

Как в случае инструментов для анализа зловредов ^[1] или компьютерной криминалистики ^[2], я распределил инструменты на группы для удобства, в соответствии со своими представлениями о прекрасном. Список наверняка неполон, а некоторые ссылки вполне могли бы находиться в других разделах. Поскольку речь идет о поиске, в подборку не вошли многочисленные сканеры и другие инструменты для активного исследования компьютерных сетей, за исключением тех, что умеют в пассивный поиск по открытым источникам.

Метапоисковики и поисковые комбайны

Онлайн-сервисы

• Hopain Tools ^[3], Inteltechniques ^[4], IntelligenceX ^[5], Aware OSINT Tools ^[6] — представляют собой стартовые страницы для десятков поисковых систем общего и специального назначения. Все они явно ориентированы на OSINT.

• Fagan Finder ^[7] — панель с десятками поисковиков по библиотекам, архивам и базам данных.

• Dogpile ^[8], iZito ^[9], zapmeta ^[10] — метапоисковики, которые агрегируют результаты из Google, Yandex, Bing и других популярных поисковых систем и выводят на одну страницу.

• Metaosint ^[11] — поисковик по поисковым системам. Предоставляет удобный интерфейс для поиска других инструментов.

• Synapsint ^[12] — метапоисковик с возможностью поиска по IP, SSL, ASN, CVE, email и телефонным номерам.

• ThatsThem ^[13] — комбинированный поисковик по именам, адресам, телефонам, адресам электронной почты и IP.

• Carrot^{2 [14]} — поисковик со встроенным алгоритмом кластеризации текста ^[15]. Автоматически объединяет в группы тематически связанные источники.

• Isearchfrom ^[16] — имитирует поисковые запросы к Google из различных стран. Помогает понять, как региональные ограничения влияют на поисковую выдачу.

• Answerthepublic ^[17] — англоязычный поисковик, который выдает распространенные поисковые запросы по заданному словосочетанию.

Утилиты

• C ^[18] — поиск из командной строки в 106 источниках.

• SpiderFoot ^[19] — инструмент для автоматизации поисковых запросов и экспорта результатов в CSV, JSON, GEXF. Заточен под задачи red team. Снабжен встроенным веб-интерфейсом.

• Query-Server ^[20] — инструмент для отправки поисковых запросов в Google, Yahoo, Bing, Ask, DuckDuckGo, Baidu, Exalead, Quora, Parsijoo, Dailymotion, Mojeek и Youtube и записи результатов в CSV, JSON или XML.

• Recon-ng ^[21] — фреймворк для разведки по открытым источникам. Позволяет искать практически все от логинов, номеров телефонов и адресов, до файлов с бухгалтерской отчетностью, попавших в открытый доступ. Внешне напоминает Metasploit Framework.

• Querytool ^[22] — инструмент OSINT, основанный google-таблицах. Предназначен для сложного поиска людей, адресов электронной почты, файлов и многого другого.

• Maltego Community Edition ^[23] — это бесплатная версия OSINT-инструмента для сбора информации из Whois, поисковых систем, социальных сетей и выявления корреляций между людьми, адресами электронной почты, логинами, компаниями, веб-сайтами, доменами и т. д.

• sn0int ^[24] — фреймворк для сбора и полуавтоматической обработки информации о поддоменах, IP-адресах, скомпрометированных учетных записях, телефонных номерах и профилях в социальных сетях.

• theHarvester ^[25] — консольная утилита для сбора информации для реддтиминга. Позволяет выполнять активную и пассивную разведку при помощи различных поисковых систем. Собирает имена, адреса электронной почты, IP-адреса, поддомены и URL-адреса.

• ReconSpider ^[26] — краулер для поиска IP-адресов, электронных писем, веб-сайтов, организаций и поиска информации из разных источников.

• Mr.Holmes ^[27] — инструмент сбора информации о доменах, именах и телефонных номерах пользователя с помощью общедоступных источников и Google Dorks.

• Datasploit ^[28] — инструмент OSINT, который можно найти в Kali ^[29] или BlackArch Linux ^[30]. Предназначен для сбора данных по определенному домену, электронной почте, имени пользователя или номеру телефона и сохранения отчетов в текстовых файлах, HTML и JSON.

• YaCy ^[31] — децентрализованная поисковая система с открытым исходным кодом ^[32]. Позволяет развернуть собственный поисковик.

Инструменты для работы с дорками

Онлайн-сервисы

• Google Hacking Database ^[33] — пополняемый каталог дорков со встроенным поиском.

• Dorksearch ^[34] — поисковая система со встроенным конструктором дорков.

• Bug Bounty Helper ^[35] — еще один онлайн-конструктор google dorks для поиска «деликатных» страниц.

Утилиты

• pagodo ^[36] — автоматизирует поиск потенциально уязвимых веб-страниц при помощи дорков из вышеупомянутой Google Hacking Database.

• Grawler ^[37] — PHP-утилита с веб-интерфейсом для автоматизации использования Google Dorks, очистки и сохранения результатов поисковой выдачи.

• DorkScout ^[38] — еще один инструмент для автоматизации поиска с использованием дорков. Написан на Golang.

• oxDork ^[39] — утилита для поиска уязвимостей и неправильных конфигураций веб-серверов.

• ATSCAN SCANNER ^[40] — предназначен для поиска с использованием дорков и массового сканирования веб-ресурсов на уязвимости.

• Fast Google Dorks Scan ^[41] — автоматизированный инструмент для сбора информации о конкретном веб-сайте при помощи дорков.

• SiteDorks ^[42] — готовый набор поисковых запросов для Google, Bing, Ecosia, DuckDuckGo, Yandex, Yahoo и так далее. Включает 527 веб-сайтов.

Поиск по электронной почте и логинам

Онлайн-сервисы

• Snusbase ^[43] — индексирует информацию из утечек и дает доступ к поиску по скомпрометированным адресам электронной почты, логинам, именам, IP-адресам, телефонам и хешам паролей.

• have i been pwned? ^[44] — поисковик по утечкам данных. Позволяет проверить, в каких инцидентах участвовал конкретный адрес электронной почты.

• Hunter ^[45] и Skymem ^[46] — поиск корпоративных email-адресов по URL.

• whatsmyname ^[47] — поиск учетных записей в различных сервисах по логину. В основе сервиса лежит общедоступный JSON ^[48].

• User Searcher ^[49] — бесплатный инструмент, который поможет найти пользователя по логину на более чем 2 тыс. веб-сайтов.

• CheckUserNames ^[50], Instant Username Search ^[51], Namecheckr ^[52], peekyou ^[53], usersearch ^[54] — онлайн-сервисы для поиска аккаунтов пользователя по логину.

Утилиты

• Infoga ^[55] — инструмент, для сбора информации об учетных записях по электронной почте из общедоступных источников (поисковые системы, серверы ключей PGP, Shodan) и проверяющий, не произошла ли утечка электронной почты, с помощью API haveibeenpwned.com.

• Holehe OSINT ^[56] — проверяет, привязана ли электронная почта к учетным записям на таких сайтах, как twitter, instagram, imgur. Поддерживает более 100 порталов. Использует функцию восстановления пароля.

• Mailcat ^[57] — ищет адреса электронной почты по нику у 22 почтовых провайдеров.

• WhatBreach ^[58] — инструмент OSINT, упрощающий задачу обнаружения утечек, в которых участвовал конкретный адрес электронной почты. Умеет загружать общедоступные базы данных.

• h8mail ^[59] и pwnedOrNot ^[60] — инструменты для поиска паролей от скомпрометированных адресов электронной почты в общедоступных базах данных.

• Sherlock ^[61] — инструмент для поиска аккаунтов в социальных сетях по логину пользователя.

• Snoop Project ^[62] — инструмент для поиска по логинам. По уверениям разработчика охватывает более двух с половиной тысяч сайтов.

• Maigret ^[63] — собирает досье на человека логину, проверяя аккаунты на двух с половиной тысячах сайтов и собирая всю доступную информацию с веб-страниц. Ключи API не требуются. Форк Sherlock.

• Social Analyzer ^[64] — API, интерфейс командной строки и веб-приложение для анализа и поиска профилей человека на более чем 1 тыс. сайтов.

• NExfil ^[65] — python-утилита для поиска профилей по имени пользователя на 350 веб-сайтах.

• SPY ^[66] — еще один быстрый поисковик по именам аккаунтов, работает с 210 сайтами.

• Blackbird ^[67] — инструмент для поиска аккаунтов по логину в социальных сетях.

• Marple ^[68] — упрощает поиск по логину через общедоступные поисковые системы от Google до Torch и Qwant.

• GHunt ^[69] — модульный инструмент для сбора данных о google-аккаунтах.

• UserFinder ^[70] — инструмент для поиска профилей по имени пользователя.

Поиск по номерам телефонов

Утилиты

• Moriarty ^[71] — утилита для реверсивного (обратного) поиска по телефонным номерам. Позволяет найти владельца, получить ссылки, страницы социальных сетей и другую связанную с номером информацию.

• Phomber ^[72] — выполняет поиск по телефонным номерам в интернете и извлекает все доступные данные.

• PhoneInfoga ^[73] — известный инструмент для поиска международных телефонных номеров. Сначала выдает стандартную информацию, такую как страна, регион, оператор связи по любому международному телефонному номеру, а затем ищет его следы в поисковых системах, чтобы помочь идентифицировать владельца.

• kovinevmv/getcontact ^[74] — утилита для получения информации из баз приложения GetContact (не подходит для парсинга, позволяет выполнить только ограниченное число запросов).

Поиск в сети TOR

Онлайн-сервисы

• IACA darkweb tools ^[75] — стартовая страница для двух десятков поисковых систем, работающих с TOR и доступных из обычного веба.

• Ahmia.fi ^[76] — еще один поисковик по сети TOR. Выделяется открытым исходным кодом ^[77].

• SearchDemon ^[78], Phobos ^[79], Tor66 ^[80], ExcavaTOR ^[81], Raklet ^[82], SeИtoЯ ^[83], Torch ^[84], OnionLand Search ^[85] — поисковые системы, работающие внутри сети TOR.

• Exonera Tor ^[86] — база данных IP-адресов, которые были частью сети Tor. Поисковик отвечает на вопрос, работал ли ретранслятор Tor на этом IP-адресе в выбранную дату.

• Relay Search ^[87] — веб-приложение для обнаружения ретрансляторов и мостов Tor, предоставляющее информацию о том, как они настроены. Имеет открытый исходный код ^[88].

Утилиты

• TorBot ^[89] — удобный Onion краулер. Собирает адреса и названия страниц с кратким описанием, получает адреса электронной почты с сайтов, проверяет, активны ли ссылки, и сохраняет отчеты в JSON. Может быть запущен в Docker.

• VililantOnion ^[90] — Onion краулер с поддержкой поиска по ключевым словам.

• Katana-ds ^[91] — Python-инструмент для автоматизации поиска с использованием Google Dorks и с поддержкой TOR.

• OnionSearch ^[92] — скрипт Python3 для автоматизации поиска в зоне .onion через общедоступные сервисы.

• Devils Eye ^[93] — это инструмент OSINT для поиска в Darkweb. Не требует установки TOR. Также может искать в сети i2p.

Поиск по интернету вещей, IP, доменам и поддоменам

Онлайн-сервисы

• Shodan ^[94] — знаменитая поисковая система для сбора информации об устройствах, подключенных к интернету.

• Censys Search ^[95], GreyNoise ^[96], ZoomEye ^[97], Netlas ^[98], CriminalIp ^[99] — аналогичные Shodan поисковые системы, ориентированные на IoT.

• Buckets by Grayhatwarfar ^[100] — база данных с общедоступным поиском по открытым AWS Buckets, Azure Blobs, Digital Ocean Spaces.

• Public buckets ^[101] — поиск общедоступных бакетам AWS S3 & Azure Blob.

• macaddress.io ^[102], MAC Vendor Lookup ^[103], maclookup.app ^[104] — определяют производителя устройства по MAC-адресу, OUI или IAB.

• CIRT ^[105], Default Password Lookup ^[106], Router Password ^[107], Open Sez Me ^[108] — поиск по базам данных паролей, установленных по умолчанию на различных устройствах.

• sitereport.netcraft ^[109] — выдает комплексную сводку по регистрационным данным и технологиям, используемым на веб-сайте.

• IPVoid ^[110] — набор инструментов для исследования IP-адресов: проверка по черным спискам, Whois, поиск по DNS, пинг.

• who.is ^[111], DomainDossier ^[112], whois.domaintools ^[113] — поиск по регистрационным данным и Whois.

• DNSDumpster ^[114] — инструмент для исследования доменов, который может обнаруживать хосты, связанные с доменом.

• ip-neighbors ^[115] — определяет местоположение сервера, и имена хостов, которые делят с ним IP-адрес.

• ShowMyIP ^[116] — массовый поиск IP-адресов, позволяет проверять до 100 IP-адресов одновременно. Выдачу можно загрузить сохранить в .csv-файл.

• MX Toolbox ^[117] — еще один многофункциональный инструмент, позволяющий искать по доменному имени, IP-адресу или имени хоста.

• DNSViz ^[118]— это набор инструментов для анализа и визуализации системы доменных имен. Имеет открытый исходный код ^[119].

• infosniper ^[120], ip2geolocation ^[121], ip2location ^[122], ipfingerprints ^[123], whoismind ^[124] — поисковики, которые позволяют найти приблизительное географическое местоположение IP-адреса, а также другую полезную информацию, включая интернет-провайдера, часовой пояс, код города и т. д.

• webmeup ^[125], openlinkprofiler ^[126], Meet Link Explorer ^[127] — поиск по обратным ссылкам.

• RapidDNS ^[128] — инструмент для DNS-запросов, который упрощает поиск поддоменов или сайтов с одним и тем же IP-адресом.

• CTSearch ^[129], crt ^[130] — поиск по SSL/TLS сертификатам, выпущенным для конкретного домена.

Утилиты

• IVRE ^[131] — фреймворк для сетевой разведки. Альтернатива Shodan, ZoomEye, Censys и GreyNoise.

• OWASP Amass ^[132] — сетевой сканер с функцией поиска информации в открытых источниках. Агрегирует информацию из десятков различных поисковых систем и баз данных.

• Infoooze ^[133] — инструмент OSINT на базе NodeJs. Объединяет в себе сканер портов и поддоменов, поиск DNS-поиск URL-сканер, поиск в Whois и еще ряд инструментов.

• Automater ^[134] — утилита для поиска URL, IP-адресов и хешей MD5, предназначенная для упрощения работы ИБ-аналитиков. Установлена в Kali Linux по умолчанию.

• Raccoon ^[135] — инструмент, созданный для разведки и сбора информации с упором на простоту. Использует Nmap ^[136] для сканирования портов и ряд пассивных методов поиска данных, чтобы собрать всестороннюю информацию о цели.

• Mitaka ^[137] — предназначена для поиска IP-адресов, MD5, ASN и биткойн-адресов.

• Photon ^[138] — сканер для работы с информаций из открытых источников. Предназначен для сканирования конкретных веб-сайтов в поисках (pdf, png, xml и т. д.), ключей, поддоменов и многого другого. Экспортирует полученные данные в JSON.

• AttackSurfaceMapper ^[139] — сканер с функциями поиска по открытым источникам. Ищет поддомены и связанные с ними IP-адреса.

• HostHunter ^[140] — использует методы разведки по открытым источникам для сопоставления IP-адресов с именами хостов. Выгружает результаты поиска в CSV или TXT-файлы.

• Subfinder ^[141] — модульный инструмент для обнаружения поддоменов при помощи методов пассивной разведки. Предназначен для багхантеров и пентестеров.

• Sublist3r ^[142] — предназначен для поиска поддоменов с использованием OSINT.

• WASP Amass ^[132] — выполняет сетевое картирование при помощи информации из открытых источников.

• Anubis ^[143] — еще одна утилита для обнаружения поддоменов и сбора информации о них из открытых источников.

• DOME ^[144] — скрипт python, выполняющий активное и/или пассивное сканирование для получения поддоменов и поиска открытых портов.

• Belati ^[145] — инструмент для сбора общедоступных данных и документов с веб-сайтов Вдохновлен Foca ^[146] и Datasploit ^[28].

Поиск данных об уязвимостях и индикаторов компрометации

Онлайн-сервисы

• MITRE CVE ^[147] — поисковик, база данных и общепринятый классификатор уязвимостей.

• NIST NVD ^[148] — поиск по официальной американской правительственной базе данных об уязвимостях.

• GitHub Advisory Database ^[149] — база данных уязвимостей, включающая CVE и рекомендации по безопасности.

• CVEDetails ^[150], osv.dev ^[151], VulDB ^[152], maltiverse ^[153] — еще ряд источников данных об уязвимостях и индикаторах компрометации.

• opencve.io ^[154]— поисковик CVE со встроенными оповещениями о новых угрозах.

• security.snyk.io ^[155]и Mend Vulnerability Database ^[156], Vulncode-DB ^[157] — базы данных уязвимостей с открытым исходным кодом.

• Cloudvulndb ^[158] — проект, который аккумулирует уязвимости и проблемы безопасности поставщиков облачных услуг.

• Vulnerability Database ^[159] — система для поиска информации об актуальных угрозах.

• Rapid7 - DB ^[160] — база данных, которая содержит детали более чем 180 тыс. уязвимостей и 4 тыс. эксплойтов. Все эксплойты включены в Metasploit.

• Exploit DB ^[161] — CVE-совместимый архив общедоступных эксплойтов и уязвимого программного обеспечения.

• sploitus ^[162] — поисковик по эксплойтам и хакерским инструментам.

Поиск по исходному коду

Онлайн-сервисы

• Searchcode ^[163] — поиск реальных примеров функций, API и библиотек на 243 языках в GitHub, GitLab, Bitbucket, GoogleCode и других хранилищах исходного кода.

• Sourcegraph ^[164] — быстрый и функциональный поисковик по open-source репозиториям. Имеет selfhosted-версию ^[165].

• HotExamples ^[166] — поиск примеров кода open-source проект. Позволяет увидеть на одной странице примеры использования того или иного класса или метода из нескольких проектов.

• Libraries.io ^[167] — поиск по 4 690 628 пакетам в 32 пакетных менеджерах.

• RepoSearch ^[168] — поиск исходного кода в репозиториях SVN и GitHub.

• grep.app ^[169] — поиск по содержимому Git. Полезен для поиска строк, связанных с уязвимостями индикаторами компрометации и вредоносными программами.

• Search from Cyber_detective ^[170] — поиск в 20 репозиториях с открытым исходным кодом при помощи дорков.

• PublicWWW ^[171] — позволяет найти любой буквенно-цифровой фрагмент, в том числе куски HTML, JavaScript, CSS-кода в коде веб-страниц.

• NerdyData ^[172] — поиск веб-сайтов, использующих определенные технологии.

Утилиты

• Gitrob ^[173] — инструмент, помогающий находить потенциально конфиденциальные файлы, помещенные в общедоступные репозитории на Github. Клонирует репозиторий, перебирает историю коммитов, помечает подозрительные файлы и выводит результаты в веб-интерфейс.

• Github Dorks ^[174] — утилита для поиска с использованием дорков через GitHub Search API. Написан на Python.

• gitGraber ^[175] — инструмент для мониторинга GitHub и оперативного поиска конфиденциальных данных, например, кредов от Google, Amazon (AWS), Paypal, Github, Mailgun, Facebook, Twitter, Heroku, Stripe, Twilio.

• github-search ^[176] — коллекция консольных инструментов для исследования Github.

• TheScrapper ^[177] — предназначен для поиска адресов электронной почты и учетных записей социальных сетей в исходном коде веб-сайта.