Se algum nome de domínio ficar obsoleto, ele geralmente ainda responde às solicitações HTTP com alguns links inúteis, às vezes até sem uma mensagem explícita "Este domínio expirou/à venda", em vez de simplesmente não conseguir resolver.
Como determinar automaticamente o domínio "morto" (expirado/não prolongado) sem um navegador? Isso pode ser feito com whois
ferramenta?
Esperando algo assim:
while true; do
if ! checkdomain something-on-verge-of-abandoning-business.com; then
echo "Good night, sweet prince"
break
fi
sleep 1d
done
Por exemplo, vejamos domínio allmydata.com
. Pelo que vejo sobre Allmydata, deve haver algum serviço de backup baseado em Tahoe-LAFS lá. Mas na verdade é um domínio estacionado.
$ whois allmydata.com
...
Domain Name: ALLMYDATA.COM
Registrar: DOMAIN MONKEYS, LLC
Whois Server: whois.domainmonkeys.com
Referral URL: http://www.domainmonkeys.com
Name Server: NS1.DSREDIRECTION.COM
Name Server: NS2.DSREDIRECTION.COM
Status: clientTransferProhibited
Updated Date: 04-aug-2013
Creation Date: 03-aug-2004
Expiration Date: 03-aug-2014
...
$ dig +short -t A allmydata.com @8.8.8.8
208.73.211.247
Esta verificação superficial mostra que se trata de um bom domínio. Mas como detectar de forma confiável (ou seja, sem analisar heuristicamente a página e medir "spam" ou "estacionamento" do conteúdo) tal coisa?
Responder1
Você pode simplesmente usar python para ler o conteúdo html e depois pesquisar por "domínio disponível"/"estacionado"/"renovação" etc. e outras palavras-chave. Você pode alimentá-lo com um arquivo CSV de domínios e, em seguida, gerar os resultados como CSV e aí você terá uma lista de domínios.
A outra ideia seria analisar os registros whois usando algo comoessee analise os resultados para a data de renovação. É assim que eu faria.