나는 비교적 새로운 웹사이트를 시작했고, 그것을 구글과 모든 것에 제출했습니다. 저도 구글의 웹마스터 도구를 사용하고 있습니다. 내 웹사이트에 액세스하는 Google 스파이더의 빈도를 파악하는 방법이 궁금합니다. 사람들이 포럼에서 "한 시간에 250페이지를 크롤링합니다" 등의 이야기를 하는 것을 항상 듣습니다. 사용할 소프트웨어가 있습니까? Google Analytics와 유사한 자바스크립트 방법이 있나요? 아니면 내 서버의 로그를 분석할 수 있는 것이 있습니까? 감사해요
답변1
방문자의 경우 웹서버 로그를 확인하세요.User-Agent요청 헤더 일치/포함Googlebot. 많이있다웹서버 로그 분석기 도구, 무료 또는 페이웨어 중 하나입니다. 그들 중 대부분은 봇을 분류할 수도 있습니다. 그중에서 나는 최고의 경험을 했습니다.구글애널리틱스.
답변2
웹마스터 도구라고도 불리는 Google 웹마스터 센터에 가입하고 사이트를 확인한 후 통계가 나타날 때까지 기다립니다.
답변3
Google Bot이 귀하의 사이트에서 Javascript를 실행하여 도착을 추적할 가능성은 거의 없으므로 Webalizer나 수백 개의 다른 로그 파일 파서에서 사이트 로그 자체를 보거나 그냥 로그 파일을 여는 것이 가장 좋습니다. 텍스트 편집기를 실행하고 정규식을 실행하여 Google Bot 사용자 에이전트를 추출합니다.
그러면 일정 시간 동안 얼마나 많은 히트가 발생하는지 확인해야 합니다. 너무 많으면 다음을 사용하는 것이 좋습니다.XML 사이트맵
답변4
저는 Google Analytics를 추천합니다. 이는 귀하의 사이트에 대한 모든 방문을 다루고 방문자가 봇인지 아닌지를 알아낼 수 있습니다. 방문자를 늘리는 데 도움이 되는 사이트의 SEO에도 탁월합니다.