Онлайн-сервисы для поиска поддоменов сайта
Поиск поддоменов (субдоменов) является важной частью разведки на основе открытых источников OSINT. В этой статье я познакомлю вас с лучшими бесплатными сервисами для поиска поддоменов онлайн.
Наличие незащищенного субдомена может привести к большим проблемам в плане безопасности. Поэтому данная статья будет полезна не только пентестерам, но и владельцам сайтов.
Поддомены сайта
Поддомены используются для:
Поиск поддоменов сайта онлайн
Итак, вот список лучших онлайн-сервисов для поиска субдоменов.
DNSDumpster
DNSDumpster — это инструмент для получения информации о домене, такую как: IP-адрес, записи DNS, записи MX, записи NS, поиск поддоменов и многое другое.
DNSDumpster собирает информацию из разных источников, в том числе с помощью своего инструмента.
Nmmapper
NMMapper анализирует домен с помощью различных инструментов, таких как Sublist3r, Amass, Nmap и т. д. Это мощные инструменты для поиска поддоменов. Используя бесплатный сервис NMMapper, вам не придется устанавливать перечисленные инструменты.
Я попробовал Nmmapper для одного из доменов, и результат удивил. Очень рекомендую!
Spyse
Сайт поиска субдоменов Sypse предлагает множество полезных инструментов. Есть также платный сервис, но как по мне и бесплатной версии достаточно.
Netcraft
Netcraft — не идеальный инструмент для поиска поддоменов, потому что, как указано на сайте, «в результатах поиска будут отображаться только те сайты, которые были посещены пользователями расширения Netcraft не менее пяти раз в течение последних шести месяцев». Тем не менее, у него есть большая база данных доменов.
Pentest-Tools
Pentest-Tools предлагает только 2 бесплатных сканирования в день. Очень простой в использовании. Вводите домен, нажимаете «Free Scan» и получаете результат.
После сканирования сайт предоставит подробный отчет в формате PDF.
SecurityTrails
SecurityTrails имеет большую базу доменов. История записей DNS 12-летней давности. Он также предлагает список всех поддоменов корневого домена вместе с хостингом и провайдером почты.
Поскольку сервис содержит данные истории записей DNS, результаты анализ может быть большим. При необходимости его можно сократить, используя различные фильтры.
Censys
Censys — потрясающий инструмент. Вы можете извлечь из этого пользу по-разному, например, получить информацию о веб-сайтах или IP-адресах. Хотя он не предназначен специально для получения информации о поддомене, он все же может быть более полезным, чем многие другие бесплатные сервисы.
Если вы выберете поиск сертификатов, Censys предоставит вам информацию о сертификатах, зарегистрированных в любом домене, содержащем слова, которые вы вводите в поле поиска. Если вы напишете свое доменное имя, список результатов может быть полезен, но плохо отфильтрован. Однако, если вы выполните поиск по примеру Example.com, он ограничит поиск только вашими поддоменами.
Crt.sh
Как и Cencys, Crt.sh предлагает службу поиска сертификатов. Это совершенно бесплатно и дает подробную информацию о сертификатах, зарегистрированных в домене или субдомене.
Вы можете просто указать корневой домен, и результаты будут представлены в виде длинных списков сертификатов. Одна вещь, о которой вам нужно быть осторожной, — это то, что она дает повторяющиеся результаты, и чтобы не запутаться, вам нужно сделать их уникальными. Еще один недостаток — отсутствие возможности загрузки списка.
BinaryEdge
Еще один не совсем бесплатный инструмент — BinaryEdge. Это мощный инструмент для поиска субдоменов, помимо других. Он предлагает 250 запросов в месяц для бесплатной версии, и этого вполне достаточно, чтобы время от времени проверять свои цифровые активы.
Subdomainfinder
Subdomainfinder специально разработан для получения поддоменов данного корневого домена. После результата вы увидите субдомен, который вы можете посетить, просто щелкнув по нему, IP-адрес, который он разрешает, и то, туннелируется ли он через CloudFlare или нет.
Заключение
На этом все. Я думаю, рассмотреных выше онлайн-сервисов для поиска поддоменов должно хватить. В следующей статье расскажу про лучшие офлайн-инструменты.
Как найти поддомены за считанные минуты?
Поиск поддоменов — неотъемлемая часть подготовки ко взлому, а благодаря некоторым инструментам противостояние этим действиям стало намного проще.
Незащищенные поддомены подвергают вашу деятельность серьезной опасности, а в последнее время произошел целый ряд инцидентов, при которых взломщики воспользовались поддоменами для обхода защиты.
В случае последнего из череды инцидентов весь код сайта Vine можно было загрузить с незащищенного поддомена.
Если вы владелец сайта или изучаете вопросы информационной безопасности, вы можете воспользоваться следующими инструментами чтобы найти поддомены любого домена.
От переводчика:
Надеюсь, что данные инструменты помогут Вам сохранить информацию на ваших виртуальных и выделенных серверах.
Вы получите неплохой обзор сведений о домене.
2. Pentest-Tools
С помощью Pentest-Tools при поиске поддомена можно воспользоваться несколькими методами, например: передача зоны DNS, перебор DNS на основе списка слов или использование поисковой системы.
Результаты поиска можно сохранить в формате PDF.
3. DNS Dumpster
DNS Dumpster — это инструмент для поиска информации о домене и хосте. Авторы проекта — HackerTarget.com.
Вы сможете найти сведения не только о поддомене, но и о DNS сервере, MX и TXT записях, а также получить графическое представление информации о вашем домене.
4. Sublist3r
Sublist3r — это инструмент на языке Python для обнаружения поддоменов с помощью поисковых систем. На сегодняшний день Sublist3r поддерживает Google, Yahoo, Bing, Baidu, Ask, Netcraft, Virustotal, ThreatCrowd, DNSdumpster and PassiveDNS.
Sublist3r поддерживает только Python версии 2.7 и зависит от нескольких библиотек.
Вы можете использовать этот инструмент в Windows, CentOS, RedHat, Ubuntu, Debian и любой другой ОС на базе UNIX. Ниже приводится пример для CentOS.
Распакуйте скачанный файл:
Теперь все готово для обнаружения поддоменов с помощью следующей команды:
Как видите, инструмент обнаружил мои поддомены.
5. Netcraft
Netcraft располагает обширной базой данных о доменах и ее не стоит обходить стороной при поиске открытой информации о поддоменах.
Результат поиска будет содержать всю информацию о домене и поддоменах, в том числе дату первого просмотра, диапазоне адресов и информацию об операционной системе. Если вам необходимо получить больше информации о сайте, просто откройте отчет о сайте и вам будет предоставлена уйма информации о технологиях, рейтинге и т.д.
6. CloudPiercer
CloudPiercer может иногда оказаться полезным при поиске информации о том, существует ли поддомен вашего домена. Кстати, CloudPiercer — это потрясающий и простой способ узнать защищен ли фактический IP-адрес вашего сайта.Открытая информация об IP-адресе делает ваш сайт уязвимым для DDoS-атак.
7. Detectify
Detectify осуществляет поиск поддоменов по предопределенному списку из нескольких сотен слов, но только в случае, если вы являетесь собственником домена. Тем не менее, если вы являетесь зарегистрированным пользователем Detectify, вы сможете включить функцию обнаружения поддоменов в разделе overview в настройках.
8. SubBrute
SubBrute — это один из самых популярных и точных инструментов перечисления поддоменов. Проект разработан сообществом и использует открытый определитель имен в качестве прокси, так что SubBrute не отправляет трафик на целевой DNS-сервер.
Это не онлайн-инструмент, так что вам придется установить его на компьютер. SubBrute можно использовать на Windows или UNIX системах. Программу установить очень легко. Ниже пример для CentOS/Linux.
Будет создана новая папка “subbrute-master”. Зайдите в папку и выполните subbrute.py с необходимым доменом.
Операция займет несколько секунд и отобразятся найденные поддомены.
9. Knock
Knock — еще один инструмент на языке Python для обнаружения поддоменов. Он протестирован для Python 2.7.6. Knock находит поддомены целевого домена по списку слов.
После установки вы можете производить поиск поддоменов следующим образом:
10. DNSRecon для Kali Linux
Kali Linux — это отличная платформа для оценки информационной безопасности и на ней можно использовать DNSRecon без дополнительной установки каких-либо инструментов.
DNSRecon проверяет все NS-записи на предмет смены зон, общие записи DNS, обработку шаблонов, PTR-записи и т.д.
Чтобы воспользоваться DNSRecon, просто выполните следующую команду
Надеюсь, что с помощью приведенных выше инструментов вы сможете обнаружить поддомены целевого домена в рамках вашей работы по оценке информационной безопасности. Сообщите мне, какой вам понравился больше всего.
HackWare.ru
Этичный хакинг и тестирование на проникновение, информационная безопасность
Поиск субдоменов (поддоменов) без брут-форса
Обнаружение субдоменов — это важная часть сбора информации и исследования периметра. Больше подробностей о поддоменах в статье «Поиск субдоменов и построение графов структуры сети с Amass» (правда, сама Amass обновилась до третьей версии, а примеры команд запуска в той статье даны для Amass 2.x — поэтому планируется новая статья по Amass 3.x).
Инструкция по SubFinder
Существует много инструментов для поиска субдоменов и в этой статье я хочу рассказать об ещё одном из них — SubFinder, эта программа может составить достойную конкуренцию Amass (хотя никто не запрещает использовать их вместе для максимально полного поиска и самого полного охвата функций).
Установка SubFinder
Программа написана на Go и начать нужно с установки компилятора Go, для этого смотрите статью «Установка Go (компилятора и инструментов) в Linux». Там есть ручная установка и установка из репозитория — я использую ручную установку.
API ключи для SubFinder
В настоящее время SubFinder извлекает информацию из 31 источника, 6 из которых работают только если вы укажите API ключи. Это:
Если вы не хотите получать API ключи (хотя это бесплатно и не требует особых усилий), то это не проблема — программа будет просто использовать остальные сервисы, которые этого не требуют.
К примеру, без установки API ключей команда
нашла 377 субдоменов. А с указанием трёх API ключей которые у меня были (Virustotal, SecurityTrails и Shodan) эта же самая команда нашла 386 поддоменов. То есть разница есть, хотя и не очень большая.
API ключи можно прописать в конфигурационном файле, который находится по пути $HOME/.config/subfinder/config.json. При указании API ключей с опциями (об этом ниже), они также автоматически сохраняются в указанный файл.
Как найти поддомены сайта
Для пассивного сбора информации достаточно использовать опцию -d после которой указать целевой домен:
Например, найдём субдомены сайта youtube.com:
Найдено 5674 субдоменов (не все они актуальны).
Поиск субдоменов при использовании подстановочных символов в DNS записи
Иногда программа выводит примерно следующее сообщение:
Оно означает, что в DNS записи анализируемого домена используется подстановочный символ, что означает, что проверка любого субдомена вида
всегда вернёт IP адрес.
Для исключения случайных поддоменов используется опция -nW, например:
То есть всего найдено 9641 уникальных хостов, но уникальных доменов найдено только 952:
Аналогично для yandex.ru:
Сохранение результатов
Для сохранения результатов имеются следующие опции:
К примеру, для поиска поддоменов сайта (-d yandex.com), исключить субдомены из подстановочных символов (-nW) и сохранить данные в файл (-o yandex.com.sub):
Как использовать определённые сервера имён (DNS) для проверки субдоменов
Для проверки субдоменов используются системные настройки DNS серверов. Вы можете указать любой другой DNS сервер или сразу несколько, для этого есть опции:
К примеру, для использования DNS серверов 8.8.8.8 и 1.1.1.1:
Рекурсивный поиск субдоменов
Для рекурсивного поиска (когда ищутся субдомены уже найденных субдоменов) укажите флаг -recursive:
Субдомены четвёртого и более высоких уровней могут быть найдены и при обычном поиске по пассивным источником. Наверное, больше всего пользы от данной опции при поиске субдоменов методом брут-форса.
Тонкая настройка некоторых источников данных
У программы есть две опции —set-settings и —set-config, в описании к которым написано, что они принимают разделённый запятой список настроек.
С помощью первой опции —set-setting можно сделать тонкую подстройку некоторых источников данных. Например, можно указать число страниц Censys для проверки, это делается следующей командой:
Для проверки всех страниц, возвращаемых от censys, вы можете использовать опцию «all«.
В настоящее время поддерживаются следующие настройки:
Указание API ключей в строке команды
С помощью опции —set-config можно указать API ключи непосредственно в запускаемой команде:
Но помните — после успешного использования API ключа он будет добавлен в конфигурационный файл и после этого будет использоваться при каждом запуске SubFinder.
Список доступных опций для использования с данной командой:
Выбор источников для поиска информации
Вы можете выбрать те источники, которые хотите использовать для сбора информации, либо наоборот, исключить один или более источников:
К примеру, для поиска поддоменов сайта sberbank.ru по таким источникам как Securitytrails, Shodan и Virustotal нужно запустить следующую команду:
Обратите внимание на написание источников — они пишутся с маленькой буквы, между словами нет пробелов.
Брут-форс поддоменов
SubFinder умеет также искать поддомены методом перебора. Для использования этого режима нужно указать опцию -b, а также опцию -w после которой укажите словарь. По умолчанию будет запущен пассивный режим и брут-форс, если вы хотите использовать исключительно перебор, то укажите опцию -no-passive.
Создадим небольшой словарь:
Пример брут-форса поддоменов по словарю:
Поиск поддоменов для большого количества сайтов
Если у вас список сайтов, то вместо опции -d используйте опцию -dL, после которой нужно указать файл со списком целевых доменов.
Справка по SubFinder
Полная справка по программе SubFinder на странице: https://kali.tools/?p=4704
Онлайн поиск поддоменов
Теперь уже два бесплатных онлайн сервиса по поиску субдоменов:
Как узнать все поддомены у домена?
Во время пентестов очень часто возникает задача просканировать все поддомены у целевого домена. Делать это вручную не очень удобно, поэтому сегодня мы предлагаем вам подборку инструментов для автоматизации сканирования поддоменов.
Чем больше используемых методов, тем больше шансов найти интересные поддомены, которые другие могли пропустить.
Некоторые спецы рекомендуют использовать только несколько инструментов (таких как Amass, Massdns, Subfinder & Gobuster). Правда люди, у которых плохое подключение к Интернету и не VPS, не смогут использовать эти высокоэффективные и быстрые инструменты. Поэтому выбирайте то, что работает для вас!
Методы
Linux tools
AltDNS
Subdomain discovery through alterations and permutations
Installation
Usage:
Other options
-w wordlist.txt : Use custom wordlist (default altdns/words.txt)
-t 10 Number of threads
Amass
Brute force, Google, VirusTotal, alt names, ASN discovery
Installation
Usage
Assets-from-spf
Parse net blocks & domain names from SPF records
Installation
Usage
cd the-art-of-subdomain-enumeration; python assets_from_spf.py target.com
Options
—asn : Enable ASN enumeration
BiLE-suite
HTML parsing, reverse DNS, TLD expansion, horizontal domain correlation
Installation
Usage
List links related to a site: cd BiLE-suite; perl BiLE.pl target.com target
Usage
Find subsomains: site:target.com
Censys_subdomain_enum.py
Add your CENSYS API ID & SECRET to the-art-of-subdomain-enumeration/censys_subdomain_enum.py
Cloudflare_enum.py
Extract subdomains from Cloudflare
Installation
Usage
the-art-of-subdomain-enumeration; python cloudflare_subdomain_enum.py your@cloudflare.email target.com
Crt_enum_psql.py
Query crt.sh postgres interface for subdomains
Installation
Usage
cd python the-art-of-subdomain-enumeration; python crtsh_enum_psql.py target.com
Crt_enum_web.py
Parse crt.sh web page for subdomains
Installation
Usage
cd python the-art-of-subdomain-enumeration; python3 crtsh_enum_web.py target.com
Enumerate subdomains using CT logs (crt.sh)
Installation
Usage
Zone transfer, DNS lookups & reverse lookups
Найти поддомены сайта
MegaIndex сканирует весь интернет и позволяет быстро найти поддомены для любого сайта.
Найти поддомены сайта
Узнать поддомены сайта можно используя сервис MegaIndex. Поскольку робот MegaIndex парсит весь интернет, база поддоменов у MegaIndex является одной из наиболее полных в мире.
MegaIndex позволяет провести поиск поддомены любого сайта онлайн и вывести список поддоменов. Получить список поддоменов можно используя приложение «Внешние ссылки».
В приложении выводится список поддоменов с данными:
Поддоменом называется дополнение к домену в виде префикса. Например поддомены для домена indexoid.com:
При отсутствии адаптивной версии, мобильную версию сайта правильно размещать на поддомене.
Как сделать поддомен на сайте
Создается поддомен путем настройки сервере доменных имен. Добавить поддомен можно через панель управления DNS. Достаточно прописать адрес поддомена и IP адрес в записях DNS на сайте регистратора или провайдера.
Настройка поддомена проводится на стороне провайдера сервера доменных имен.
Поддомены бесплатные и не требуют регистрации.
IP поддомена может отличатся от адреса основного сайта.
Метрика на поддомены устанавливается отдельно.
SEO поддомены
Преследую цели поисковой оптимизации, оптимизаторы размещают создают региональные поддомены сайта. Использование стратегии региональных поддоменов эффективна только для запросов с низкой конкуренцией и в Yandex.
Индексация поддомена проходит аналогично индексации основного сайта. На поддомене может быть свои sitemap.xml и robots.
Поддомен www позволяет избавится от санкций поисковых систем, если санкции приняты в отношении основного адре.
При выборе поддомена или папки следует ориентироваться на задачи. Поддомен позволяет снять с сайта негативный шлейф размещаемого контента, например форума форума. Белые проекты лучше размещать на основном адресе, папках. Использование папки на сайте вместо поддомена обладает следующим списком преимуществ с точки зрения поисковой оптимизации сайтов:
SSL для поддоменов выдается отдельно. Сертификат на домен действует только на основной адрес.
Основной поддомен сайта должен быть указан в файле robots.txt в директиве host:
Перенаправление (редирект) с поддомена
На домене может быть редирект. Редирект надо размещать если изменился адрес, например на папку. Пример: blog.megaindex.com перенаправляет на megaindex.com/blog.
Редирект можно с поддомена можно сделать используя файл htaccess:
Букмарклет для поиска поддоменов:
Для использования любого букмарклета достаточно: