검색 엔진처럼 매일 새롭게 떠오르는 웹사이트 목록을 다운로드할 수 있는 곳이 있나요? 나는 새 웹사이트를 설정할 때 이에 대한 백링크를 만들지 않습니다. Google은 내 웹사이트를 어떻게 파악하고 크롤링하나요? 일종의 whois 데이터베이스를 사용합니까? 하지만 매일 쿼리할 수 있는 whois 데이터베이스는 없다고 생각합니다.
답변1
새로운 웹사이트 목록을 다운로드할 수 있는 권한 있는 장소가 없으며 일부 의견과는 달리 DNS 때문에 새로운 사이트가 발견되지 않습니다.
사이트는 일반적으로 해당 사이트에 대한 링크나 검색 엔진에 대한 요청을 통해 발견됩니다. 많은 시스템은 업데이트를 요청하기 위해 사이트가 설치되거나 콘텐츠가 추가될 때 자동으로 Google에 '핑'을 보냅니다.