比較的新しいウェブサイトを立ち上げ、Google などに送信しました。Google のウェブマスター ツールも使用しています。Google のスパイダーが自分のウェブサイトにアクセスする頻度をどうやって把握すればよいのか知りたいです。フォーラムではいつも「1 時間に 250 ページがクロールされている」などと話しているのを聞きます。使用できるソフトウェアはありますか? Google Analytics に似た JavaScript 方式ですか? それとも、サーバーのログを分析できるものはありますか? よろしくお願いします
答え1
訪問者のウェブサーバーのログを確認してくださいUser-Agentリクエストヘッダーが一致する/含むGooglebotたくさんありますウェブサーバーログアナライザーツール、無料または有料。それらのほとんどはボットを分類することもできます。それらの中で私が最も良い経験をしたのはグーグルアナリティクス。
答え2
Google Webmaster Central（別名ウェブマスター ツール）にサインアップし、サイトを確認して、統計情報が表示されるのを待ちます。
答え3
Google Bot がサイト上で JavaScript を実行して、その到着を追跡する可能性はかなり低いため、最善の策は、Webalizer または他の何百ものログ ファイル パーサーでサイト ログ自体を確認するか、テキスト エディターで開いて正規表現を実行し、Google Bot ユーザー エージェントを抽出することです。
一定時間内にどれだけのヒット数が発生するかを確認する必要があります。ヒット数が多すぎる場合は、XML サイトマップ
答え4
Google アナリティクスをお勧めします。サイトへのすべての訪問をカバーし、訪問者がボットであるかどうかを判断できます。また、サイトの SEO にも優れており、訪問者数の増加に役立ちます。