Parece que existem empresas que vendem listas de nomes de domínio, mas suas listas estão incompletas e cada empresa tem uma quantidade diferente de entradas para um determinado TLD.
Por que tanta conspiração sobre a lista completa de nomes de domínio existentes/registrados/ativos? Por que não está disponível online apenas para todos (é claro, sem quaisquer dados adicionais, apenas nomes de domínio)?
E a questão principal é: existe uma maneira técnica correta de construir essa lista sozinho?
Se bem entendi, os registradores são credenciados para cada TLD e são responsáveis por hospedar os arquivos de zona.
Portanto, se alguém quiser construir a lista completa, precisará obter uma lista completa de todos os registradores e juntá-los.
Parece simples, mas não existem tais listas disponíveis. Então, por que isso acontece e como fazer isso sozinho do ponto de vista técnico?
Responder1
Em certo sentido, pode-se argumentar que a abordagem técnica “certa” é passar por todos os obstáculos que os registros relevantes exigem para obter acesso aos dados de sua zona de TLD ou, se não tiverem tal programa, simplesmente não fazê-lo.
Em relação aos gTLDs,A ICANN fornece um repositório central:
OServiço de dados de zona centralizadofornece um ponto centralizado para as partes interessadas solicitarem acesso aArquivos de zonafornecido pelos registros de domínio de primeiro nível participantes. O serviço é a solução para dimensionar a transferência de dados de zona à medida que centenas de novos gTLDs são adicionados à Internet.
Cada novo registro de gTLD é obrigado a fornecer dados de zona aos solicitantes aprovados (por exemplo, agentes policiais, advogados de propriedade intelectual, pesquisadores) mediante delegação técnica de seu gTLD.
Os novos registros receberão instruções para utilizar o serviço de dados da zona centralizada assim que um contrato de registro de gTLD for assinado.
Por muito mais tempo, zonas individuais foram disponibilizadas separadamente. Por exemplo, as zonas com e net foramdisponibilizado pela Verisign(operando essas zonas em nome da ICANN).
Para os ccTLDs não existe a conveniência de um repositório central e cada registro pode ou não ter um programa que permita acesso aos dados completos da zona.
Os registradores não hospedam arquivos de zona; os servidores de nomes do TLD são operados em nome do registro. Os registradores alimentam dados para o registro.
Responder2
Não há conspiração, só que a lista é ENORME (133.182.309 domínios gerenciados apenas pela VeriSign (.net e .com) no momento em que este livro foi escrito, supondo uma média de 13 caracteres de largura de byte por domínio, isso é quase 2 GB apenas de nomes de domínio , sem mencionar as informações associadas anexadas a uma entrada de domínio) e a largura de banda custa dinheiro.
Você pode solicitar o arquivo de zona ou inscrever-se como registrador (para obter melhor acesso ao arquivo de zona) para o patrocinador de zona individual. Continuando com o exemplo da VeriSign, você pode procurar .net e .com aqui:http://www.verisigninc.com/en_US/channel-resources/domain-registry-products/zone-file/index.xhtmlehttp://www.verisigninc.com/en_US/channel-resources/become-a-registrar/index.xhtml
Você também pode se inscrever para acessar a API de um banco de dados whois (geralmente custa dinheiro porque a largura de banda não é barata) ou baixar o arquivo de zona de um site que fornece acesso às suas cópias em cache, comohttp://www.premiumdrops.com/zones.html.
Novamente, o acesso à referida lista para cada TLD exigirá seu próprio processo.
Por último, essas informações ficam obsoletas no momento em que você as baixa, pois os domínios são continuamente registrados/renovados/expirados. Esse problema diminui o valor de manter essa lista disponível para download.
Adendo: Isso não cobre o caso em que os servidores DNS que você (ou seus clientes pretendidos) estão configurados para NÃO servir todos os registros DNS conforme estão registrados em seus registradores, ou muitos outros casos que tornariam essa lista inútil .
Responder3
Não é (mais) suportado por nenhum operador de TLD, mas o mecanismo técnico fornecido pelo protocolo DNS estabelecido emRFC 833(e refinado em RFCs subsequentes) é umtransferência de zonapara a zona raiz do TLD, com oAXFRsolicitar.