Есть ли место, где можно скачать список новых веб-сайтов, появляющихся каждый день, как это делают поисковые системы? Когда я создаю новый веб-сайт, я не создаю для него никаких обратных ссылок. Как Google узнает о моем веб-сайте и сканирует его? Использует ли он какую-то базу данных whois? Но я не думаю, что есть база данных whois, которая позволяет делать запросы каждый день.
решение1
Не существует официального источника для загрузки списка новых веб-сайтов, и вопреки некоторым комментариям, новые сайты не обнаруживаются из-за DNS.
Сайты обычно находятся по ссылке на них или по запросу в поисковой системе. Многие системы автоматически «пингуют» Google, когда сайт устанавливается или добавляется контент, чтобы запросить обновление.