特定の TLD のすべてのドメイン名の完全なリストを技術的に取得するにはどうすればよいですか?

特定の TLD のすべてのドメイン名の完全なリストを技術的に取得するにはどうすればよいですか?

ドメイン名のリストを販売している会社もあるようですが、そのリストは不完全であり、各会社が特定の TLD に対して持っているエントリの数は異なります。

既存/登録済み/アクティブなドメイン名の完全なリストについて、なぜこれほど陰謀が渦巻いているのでしょうか? なぜそれがオンラインで誰でも利用できるようにしないのでしょうか (もちろん、追加データなしで、ドメイン名だけ)?

そして主な疑問は、そのようなリストを自分で構築するための正しい技術的な方法はあるのだろうか、ということです。

私の理解が正しければ、レジストラは各 TLD に対して認定されており、ゾーン ファイルをホストする責任を負います。

したがって、完全なリストを作成するには、すべてのレジストラから完全なリストを取得し、それらを結合する必要があります。

簡単そうに聞こえますが、そのようなリストは存在しません。では、なぜそうなのでしょうか。また、技術的な観点から自分で適切に行うにはどうすればよいでしょうか。

答え1

ある意味、「正しい」技術的アプローチとは、関連するレジストリが TLD ゾーン データにアクセスするために要求するあらゆるハードルを乗り越えること、またはそのようなプログラムがない場合はそれを行わないことであると主張する人もいるかもしれません。

gTLDに関しては、ICANNは中央リポジトリを提供している:

集中ゾーンデータサービス関係者がアクセスをリクエストするための集中的な拠点を提供しますゾーンファイル参加しているトップレベルドメインレジストリによって提供されます。このサービスは、何百もの新しい gTLD がインターネットに追加されるときにゾーンデータ転送を拡張するためのソリューションです。

すべての新しい gTLD レジストリは、その gTLD の技術委任時に、承認された要求者 (法執行機関、IP 弁護士、研究者など) にゾーン データを提供する必要があります。

gTLD レジストリ契約が締結されると、新しいレジストリには集中ゾーン データ サービスの利用手順が提供されます。

かなり以前から、個別のゾーンは別々に提供されてきました。たとえば、comゾーンとnetゾーンはVerisignによって提供(ICANN に代わってこれらのゾーンを運用しています)。


ccTLD の場合、中央リポジトリのような便利なものはなく、各レジストリには完全なゾーン データにアクセスできるプログラムがある場合とない場合があります。

レジストラはゾーン ファイルをホストしません。TLD のネーム サーバーはレジストリに代わって運用されます。レジストラはレジストリにデータを供給します。

答え2

陰謀があるわけではなく、リストが膨大である(この記事の執筆時点で VeriSign が扱うドメイン(.net および .com)は 133,182,309 個あり、ドメインあたりの平均文字幅が 13 バイトと仮定すると、ドメイン名だけで約 2 GB になり、ドメイン エントリに添付される関連情報は言うまでもありません)ことと、帯域幅にコストがかかることです。

個々のゾーン スポンサーからゾーン ファイルをリクエストするか、またはレジストラとしてサインアップして (ゾーン ファイルへのアクセスを向上させるため) ください。VeriSign の例を続けると、.net と .com は次の場所で検索できます。http://www.verisigninc.com/en_US/channel-resources/domain-registry-products/zone-file/index.xhtmlそしてhttp://www.verisigninc.com/en_US/channel-resources/become-a-registrar/index.xhtml

また、whoisデータベースのAPIにアクセスするためにサインアップすることもできます(帯域幅は安くないため、通常は料金がかかります)。または、次のようなキャッシュされたコピーへのアクセスを提供するサイトからゾーンファイルをダウンロードすることもできます。http://www.premiumdrops.com/zones.html

繰り返しになりますが、各 TLD のリストにアクセスするには、独自のプロセスが必要になります。

最後に、ドメインは継続的に登録/更新/期限切れになるため、この情報はダウンロードした瞬間に古くなります。この問題により、ダウンロード可能なリストを維持する価値が低下します。

補足: これは、あなた (またはあなたの対象クライアント) の DNS サーバーが、レジストラに登録されているすべての DNS レコードを提供しないように設定されている場合や、このようなリストが役に立たないその他の多くのケースをカバーしていません。

答え3

どのTLDオペレータからもサポートされていないが、2000年に確立されたDNSプロトコルによって提供される技術的メカニズムは、RFC 833(その後のRFCで改良された)はゾーン転送TLDルートゾーンの場合、AXFRリクエスト。

関連情報