如何從技術上檢索特定 TLD 的所有網域的完整清單?

如何從技術上檢索特定 TLD 的所有網域的完整清單?

看起來有些公司出售域名列表,但他們的列表並不完整,而且每個公司對於特定 TLD 的條目數量都不同。

為什麼對現有/註冊/活動網域的完整清單有如此多的陰謀?為什麼不是每個人都可以在線上使用它(當然,沒有任何附加數據,只有網域)?

主要問題是 - 是否有正確的技術方法來自己建立這樣一個清單?

如果我理解正確的話,註冊商會獲得每個 TLD 的認可,然後他們負責託管區域文件。

因此,如果要建立完整的列表,他們需要從所有註冊商處獲取完整的列表並將它們連接在一起。

聽起來很簡單,但目前還沒有這樣的清單。那麼為什麼會這樣,從技術角度來看,我該如何正確地做到這一點?

答案1

從某種意義上說,人們可能會認為,「正確」的技術方法是跳過相關註冊管理機構訪問其頂級域名(TLD) 區域數據所需的任何障礙,或者,如果他們沒有這樣的計劃,就不要這樣做。

關於 gTLD,ICANN 確實提供了一個中央儲存庫

集中區域資料服務為有興趣的各方提供一個集中點來請求訪問區域文件由參與的頂級網域註冊管理機構提供。隨著數百個新 gTLD 添加到互聯網,該服務是擴展區域資料傳輸的解決方案。

每個新 gTLD 註冊管理機構都需要在其 gTLD 技術授權後向核准的請求者(例如執法人員、智慧財產權律師、研究人員)提供區域資料。

執行通用頂級網域名稱 (gTLD) 註冊管理機構協議後,將向新註冊管理機構提供使用集中區資料服務的說明。

長期以來,各個區域都是單獨提供的。例如 com 和 net 區域已威瑞信提供(代表 ICANN 運作這些區域)。


對於 ccTLD 來說,不存在中央儲存庫這樣的便利性,每個註冊管理機構可能有或沒有允許存取完整區域資料的程式。

註冊商不託管區域文件,TLD 的名稱伺服器代表註冊管理機構運作。註冊商將資料提供給註冊機構。

答案2

沒有陰謀,只是該列表非常龐大(截至撰寫本文時,VeriSign(.net 和 .com)僅處理 133,182,309 個域名,假設每個域名平均有 13 個字節寬度的字符,這相當於域名的近 2 GB ,更不用說附加到網域條目的相關資訊)和頻寬需要花錢。

您可以向各個區域贊助商請求區域文件或註冊成為各個區域贊助商的註冊商(以便更好地存取區域文件)。繼續使用 VeriSign 範例,您可以在此處找到 .net 和 .com:http://www.verisigninc.com/en_US/channel-resources/domain-registry-products/zone-file/index.xhtmlhttp://www.verisigninc.com/en_US/channel-resources/become-a-registrar/index.xhtml

您還可以註冊訪問 whois 資料庫的 API(通常需要花錢,因為頻寬並不便宜),或者從提供對其快取副本的訪問的網站下載區域文件,例如http://www.premiumdrops.com/zones.html

同樣,存取每個頂級網域 (TLD) 的上述清單將需要其自己的流程。

最後,這些資訊在您下載後就會變得陳舊,因為網域會不斷註冊/更新/過期。此問題降低了維護此類可供下載的清單的價值。

附錄:這並不涵蓋您(或您的目標客戶)設定的DNS 伺服器不為所有DNS 記錄提供服務的情況,因為這些記錄是在其註冊商處註冊的,或者許多其他情況會使此類清單毫無用處。

答案3

除了 2017 年建立的 DNS 協定提供的技術機制外,不再受到任何 TLD 營運商的支援。RFC 833(並在後續 RFC 中進行了細化)是區域轉移對於 TLD 根區域,AXFR要求。

相關內容