Google IP 주소에서 오는 이상한 Apache 로그 항목

Question 1

이 IP가 내 개발 웹사이트에 도달할 때 로그에 리퍼러가 없는 이유는 무엇입니까?

Googlebot을 포함한 봇은 일반적으로 리퍼러 헤더를 보내지 않습니다.

또 다른 고려 사항은 페이지에 직접 액세스하는 경우 보낼 리퍼러 헤더가 없다는 것입니다(이 경우 리퍼러 헤더는 프로그래밍되지 않는 한 일반적으로 비어 있습니다).

보다 일반적으로 다음 사항에 관심이 있을 수 있습니다.웹마스터 질문에는 리퍼러 헤더가 전송되지 않는 다른 이유에 대한 좋은 목록이 있습니다(위에 나열된 두 가지가 가장 적용될 가능성이 높은 이유임).

Answer

이 IP가 내 개발 웹사이트에 도달할 때 로그에 리퍼러가 없는 이유는 무엇입니까?

Googlebot을 포함한 봇은 일반적으로 리퍼러 헤더를 보내지 않습니다.

또 다른 고려 사항은 페이지에 직접 액세스하는 경우 보낼 리퍼러 헤더가 없다는 것입니다(이 경우 리퍼러 헤더는 프로그래밍되지 않는 한 일반적으로 비어 있습니다).

보다 일반적으로 다음 사항에 관심이 있을 수 있습니다.웹마스터 질문에는 리퍼러 헤더가 전송되지 않는 다른 이유에 대한 좋은 목록이 있습니다(위에 나열된 두 가지가 가장 적용될 가능성이 높은 이유임).

Question 2

이는 사이트 콘텐츠의 색인을 생성하려는 Google 크롤러일 가능성이 높습니다. 그래서 나는 그것에 대해 걱정하지 않을 것입니다. 즉, 당신은 이렇게 말합니다.

그리고 시간당 1000번...

그리고 다음 줄을 예로 제공하십시오.

[Wed Sep 27 18:59:11.973506 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973729 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973878 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.974017 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335

핵심 부분은 "PHP 경고: 0으로 나누기..."입니다. 이는 사이트 코드 및 스크립팅의 오류이기 때문입니다. 두 가지 선택은 프로덕션 서버에서 PHP 경고를 비활성화하여 해당 오류 메시지를 제거하는 것입니다. 또는 제가 선호하는 솔루션은 을 열고 global_images.inc.php335행으로 이동하여 0으로 나누기 오류의 원인이 무엇인지 파악하고 패치하는 것입니다. .

귀하가 무슨 말을 하든 봇이 귀하의 사이트를 크롤링하는 방식을 완전히 제어할 수는 없습니다. 그러나 오류 로그에서 노이즈를 제한하려는 경우 이는 전적으로 사용자가 제어할 수 있습니다. 사이트의 "경고" 수준 오류에 대한 코드를 정리하거나 제한하고 필요한 것보다 더 이상 잠을 자지 마십시오.

Answer