Apache エラー ログ ファイルに次のようなエラー メッセージがあります:
[Wed Sep 27 18:45:34.289807 2017] [:error] [pid 17543] [client 66.249.79.21:47149] PHP Notice: Undefined variable: catNameUrl in /var/www/dev/page/page_display.inc.php on line 73
[Wed Sep 27 18:59:11.964934 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: getimagesize(../include/images/sizes/3GHI9W6AyEI5/--1000.jpg): failed to open stream: No such file or directory in /var/www/dev/page/index_framed.php on line 66
そして1時間あたり1000回：
[Wed Sep 27 18:59:11.973506 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973729 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973878 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.974017 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
等...
実際のところ、要求されたページに関するリファラーはありません。これは通常のエラー ログです。
[Wed Sep 27 09:09:39.877580 2017] [:error] [pid 29730] [client XX.XX.XX.XX:18888] PHP Notice: Undefined index: cat in /var/www/dev/page/page_display.inc.php on line 441, referer: https://dev.mywebsite.com/page/redaction/p/10
https://www.abuseipdb.com/check/66.249.79.17 -> Google 検索エンジン スパイダー
間違った URL を開いてしまい、動的に画像を作成するために使用されるファイルを開くことができないのではないかと思います。
この IP が私の開発 Web サイトに到達したときに、ログにリファラーが表示されないのはなぜですか?
答え1
この IP が開発 Web サイトに到達したときに、ログにリファラーが表示されないのはなぜですか?
Googlebot を含むボットは通常、リファラー ヘッダーを送信しません。
もう 1 つの考慮事項は、ページが直接アクセスされた場合は送信するリファラー ヘッダーがないことです (このような場合、リファラー ヘッダーは、空白にならないようにプログラムされていない限り、通常は空白になります)。
もっと一般的には、これに興味があるかもしれませんウェブマスターの質問には、リファラー ヘッダーが送信されないその他の理由が詳しく記載されています (ただし、最も当てはまる可能性が高いのは上記の 2 つです)。
答え2
これはおそらく、Google クローラーがサイトのコンテンツをインデックスしようとしているためでしょう。ですから、心配する必要はありません。とはいえ、あなたはこう述べています。
そして1時間に1000回…
例として次の行を示します。
[Wed Sep 27 18:59:11.973506 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973729 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973878 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.974017 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
重要な部分は「PHP 警告: ゼロ除算…」です。これは、サイトのコードとスクリプトのエラーです。2 つの選択肢は、実稼働サーバーで PHP 警告を無効にして、これらのエラー メッセージを削除するか、(私が推奨する解決策として) を開いてglobal_images.inc.php335 行目に移動し、ゼロ除算エラーの原因を突き止めて修正することです。
何を言っても、ボットがサイトをクロールする方法を完全に制御することはできません。ただし、エラー ログのノイズを制限したい場合は、完全に制御できます。コードをクリーンアップするか、サイトの「警告」レベルのエラーを抑制して、必要以上に悩まないようにしてください。