Eu tenho esse tipo de mensagem de erro no meu arquivo de log de erros do Apache:
[Wed Sep 27 18:45:34.289807 2017] [:error] [pid 17543] [client 66.249.79.21:47149] PHP Notice: Undefined variable: catNameUrl in /var/www/dev/page/page_display.inc.php on line 73
[Wed Sep 27 18:59:11.964934 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: getimagesize(../include/images/sizes/3GHI9W6AyEI5/--1000.jpg): failed to open stream: No such file or directory in /var/www/dev/page/index_framed.php on line 66
E 1000 vezes por hora:
[Wed Sep 27 18:59:11.973506 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973729 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973878 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.974017 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
etc...
O fato é que não há referenciador sobre a página solicitada. Este é um log de erros normal:
[Wed Sep 27 09:09:39.877580 2017] [:error] [pid 29730] [client XX.XX.XX.XX:18888] PHP Notice: Undefined index: cat in /var/www/dev/page/page_display.inc.php on line 441, referer: https://dev.mywebsite.com/page/redaction/p/10
https://www.abuseipdb.com/check/66.249.79.17 -> Aranha do mecanismo de pesquisa do Google
Eu acho que está abrindo URLs errados e não consigo abrir um arquivo que é usado para criar uma imagem dinamicamente.
Por que não há referenciador no log quando esse IP chega ao meu site de desenvolvimento?
Responder1
Por que não há referenciador no log quando esse IP chega ao meu site de desenvolvimento?
Os bots, incluindo o Googlebot, normalmente não enviam cabeçalhos de referência.
Outra consideração é que não há cabeçalhos de referência para enviar se a página for acessada diretamente (os cabeçalhos de referência normalmente ficam em branco nesses casos, a menos que sejam programados para não ficarem).
De forma mais geral, você pode estar interessado nestePergunta dos webmasters, que tem uma boa lista de outros motivos pelos quais os cabeçalhos de referência não são enviados (embora os dois listados acima sejam os mais prováveis de serem aplicados).
Responder2
Provavelmente é um rastreador do Google tentando indexar o conteúdo do seu site. Então eu não me preocuparia com isso. Dito isto, você afirma o seguinte:
E 1000 vezes por hora…
E forneça estas linhas como exemplo:
[Wed Sep 27 18:59:11.973506 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973729 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973878 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.974017 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
A parte principal é o “Aviso PHP: Divisão por zero…”, pois é um erro no código e script do seu site. Suas duas opções são desabilitar os avisos do PHP em seu servidor de produção, o que eliminará essas mensagens de erro ou - minha solução preferida - seria abrir global_images.inc.php
, ir para a linha 335 e descobrir o que está causando um erro de divisão por zero e corrigir isso .
Você nunca será capaz de controlar totalmente a forma como um bot rastreia seu site, não importa o que você diga. Mas se você deseja limitar o ruído em seus logs de erros, isso está totalmente sob seu controle. Limpe o código ou reduza o nível de erro de “aviso” em seu site e não perca mais sono do que o necessário.