Похоже, что есть компании, которые продают списки доменных имен, однако их списки неполные, и у каждой компании разное количество записей для конкретного TLD.
Почему столько заговоров вокруг полного списка существующих/зарегистрированных/активных доменных имен? Почему он просто не доступен онлайн для всех (конечно, без дополнительных данных, просто доменные имена)?
И главный вопрос - есть ли правильный технический способ составить такой список самостоятельно?
Если я правильно понимаю, регистраторы аккредитуются для каждого TLD, а затем они несут ответственность за размещение файлов зоны.
Таким образом, если кто-то хочет составить полный список, ему нужно будет получить полный список от всех регистраторов и объединить их вместе.
Звучит просто, но таких списков нет. Так почему же так и как это сделать правильно самостоятельно с технической точки зрения?
решение1
В каком-то смысле можно утверждать, что «правильный» технический подход — это преодолеть все препятствия, которые требуют соответствующие реестры, чтобы получить доступ к данным своей зоны TLD, или, если у них нет такой программы, просто не делать этого.
Что касается gTLD,ICANN предоставляет центральный репозиторий:
TheЦентрализованная зональная служба данныхобеспечивает централизованную точку, где заинтересованные стороны могут запросить доступ кФайлы зоныпредоставляется участвующими реестрами доменов верхнего уровня. Услуга является решением для масштабирования передачи данных зоны по мере добавления сотен новых gTLD в Интернет.
Каждый новый реестр gTLD обязан предоставлять данные зоны утвержденным запрашивающим сторонам (например, сотрудникам правоохранительных органов, юристам по интеллектуальной собственности, исследователям) при техническом делегировании своего gTLD.
Новым реестрам будут предоставлены инструкции по использованию Централизованной службы данных зоны после заключения Соглашения о реестре gTLD.
В течение гораздо более длительного времени отдельные зоны были доступны отдельно. Например, зоны com и net былипредоставлено Verisign(управление этими зонами от имени ICANN).
Для ccTLD нет такого удобства, как центральный репозиторий, и каждый реестр может иметь или не иметь программу, которая обеспечивает доступ ко всем данным зоны.
Регистраторы не размещают файлы зон, серверы имен для TLD работают от имени реестра. Регистраторы передают данные в реестр.
решение2
Никакого заговора нет, просто список ОГРОМНЫЙ (на момент написания статьи только VeriSign обрабатывала 133 182 309 доменов (.net и .com), если предположить, что в среднем на домен приходится 13 байт символов, то это почти 2 ГБ только доменных имен, не говоря уже о сопутствующей информации, прикрепленной к записи домена), а пропускная способность стоит денег.
Вы можете запросить файл зоны или зарегистрироваться в качестве регистратора (чтобы получить лучший доступ к файлу зоны) для индивидуального спонсора зоны. Продолжая пример VeriSign, вы можете поискать .net и .com здесь:http://www.verisigninc.com/en_US/channel-resources/domain-registry-products/zone-file/index.xhtmlиhttp://www.verisigninc.com/en_US/channel-resources/become-a-registrar/index.xhtml
Вы также можете зарегистрироваться для доступа к API базы данных Whois (обычно это будет стоить денег, поскольку пропускная способность недешева) или загрузить файл зоны с сайта, который предоставляет доступ к их кэшированным копиям, напримерhttp://www.premiumdrops.com/zones.html.
Опять же, доступ к указанному списку для каждого TLD потребует своего собственного процесса.
Наконец, эта информация становится устаревшей в тот момент, когда вы ее загружаете, поскольку домены постоянно регистрируются/продлеваются/истекают. Эта проблема снижает ценность поддержания такого списка, доступного для загрузки.
Дополнение: Это не охватывает случай, когда DNS-серверы, которые вы (или ваши предполагаемые клиенты) настроили НЕ для обслуживания всех DNS-записей, зарегистрированных у их регистраторов, а также многие другие случаи, которые сделали бы такой список бесполезным.
решение3
Не поддерживается (больше) ни одним оператором TLD, но технический механизм, предоставляемый протоколом DNS, установленным вRFC833(и уточненный в последующих RFC) — этозона передачидля корневой зоны TLD, сAXFRзапрос.