Если какое-либо доменное имя становится неактуальным, оно обычно по-прежнему отвечает на HTTP-запросы несколькими наборами бесполезных ссылок, иногда даже без явного сообщения «Этот домен устарел/продается», а не просто не может быть решено вообще.
Как автоматически определить "мертвый" (истекший/не продленный) домен без браузера? Можно ли это сделать с помощью whois
инструмента?
Ожидаю чего-то вроде этого:
while true; do
if ! checkdomain something-on-verge-of-abandoning-business.com; then
echo "Good night, sweet prince"
break
fi
sleep 1d
done
Например, давайте рассмотрим домен allmydata.com
. Насколько я понимаю, у Allmydata должен быть какой-то сервис резервного копирования на базе Tahoe-LAFS. Но на самом деле это припаркованный домен.
$ whois allmydata.com
...
Domain Name: ALLMYDATA.COM
Registrar: DOMAIN MONKEYS, LLC
Whois Server: whois.domainmonkeys.com
Referral URL: http://www.domainmonkeys.com
Name Server: NS1.DSREDIRECTION.COM
Name Server: NS2.DSREDIRECTION.COM
Status: clientTransferProhibited
Updated Date: 04-aug-2013
Creation Date: 03-aug-2004
Expiration Date: 03-aug-2014
...
$ dig +short -t A allmydata.com @8.8.8.8
208.73.211.247
Эта поверхностная проверка показывает, что это хороший домен. Но как надежно (т. е. не эвристически анализируя страницу и измеряя "спамность" или "припаркованность" по контенту) обнаружить такое?
решение1
Вы можете просто использовать python для чтения html-контента, а затем искать "domain available"/"parked"/"renewal" и т. д. и другие ключевые слова. Вы можете скормить ему CSV-файл доменов, а затем вывести результаты в виде CSV, и вот у вас есть список доменов.
Другая идея — анализировать записи Whois, используя что-то вродеэтоти проанализируйте результаты на предмет даты продления. Вот как я бы это сделал.