В моем файле журнала ошибок Apache есть такие сообщения об ошибках:
[Wed Sep 27 18:45:34.289807 2017] [:error] [pid 17543] [client 66.249.79.21:47149] PHP Notice: Undefined variable: catNameUrl in /var/www/dev/page/page_display.inc.php on line 73
[Wed Sep 27 18:59:11.964934 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: getimagesize(../include/images/sizes/3GHI9W6AyEI5/--1000.jpg): failed to open stream: No such file or directory in /var/www/dev/page/index_framed.php on line 66
И 1000 раз в час:
[Wed Sep 27 18:59:11.973506 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973729 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973878 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.974017 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
и т. д...
Факт в том, что нет реферера о запрошенной странице. Это обычный журнал ошибок:
[Wed Sep 27 09:09:39.877580 2017] [:error] [pid 29730] [client XX.XX.XX.XX:18888] PHP Notice: Undefined index: cat in /var/www/dev/page/page_display.inc.php on line 441, referer: https://dev.mywebsite.com/page/redaction/p/10
https://www.abuseipdb.com/check/66.249.79.17 -> Поисковый паук Google
Я думаю, он открывает неправильные URL-адреса и не может открыть файл, который используется для динамического создания изображения.
Почему в журнале нет реферера, когда этот IP-адрес заходит на мой сайт разработчика?
решение1
Почему в журнале нет реферера, когда этот IP-адрес заходит на мой сайт разработчика?
Боты, включая Googlebot, обычно не отправляют заголовки рефереров.
Еще одно соображение заключается в том, что при прямом доступе к странице не требуется отправлять заголовки рефереров (в таких случаях заголовки рефереров обычно пустые, если только это не запрограммировано иначе).
В более общем плане, вам может быть интересно этоВопрос веб-мастеров, в котором приведен хороший список других причин, по которым заголовки referer не отправляются (хотя две из перечисленных выше причин наиболее вероятны).
решение2
Скорее всего, это краулер Google, пытающийся проиндексировать содержимое вашего сайта. Так что я бы не беспокоился об этом. При этом вы заявляете следующее:
И 1000 раз в час…
И приведите эти строки в качестве примера:
[Wed Sep 27 18:59:11.973506 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973729 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973878 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.974017 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
Ключевая часть — «Предупреждение PHP: деление на ноль…», поскольку это ошибка в коде и скриптах вашего сайта. У вас есть два варианта: отключить предупреждения PHP на вашем производственном сервере, что избавит вас от этих сообщений об ошибках, или — мое предпочитаемое решение — открыть global_images.inc.php, перейти к строке 335 и выяснить, что вызывает ошибку деления на ноль, и исправить ее.
Вы никогда не сможете полностью контролировать то, как бот сканирует ваш сайт, что бы вы ни говорили. Но если вы хотите ограничить шум в своих журналах ошибок, это полностью под вашим контролем. Очистите код или снизьте уровень ошибок «предупреждение» на вашем сайте и не теряйте из-за этого больше сна, чем нужно.