我如何知道 Google 抓取我網站的頻率？

Question

我已經開始了一個相對較新的網站，並將其提交給Google等。我也使用Google的網站管理員工具。我想知道如何計算谷歌蜘蛛訪問我的網站的頻率。我總是聽到人們在論壇上談論「我每小時抓取 250 個頁面」等等......有軟體可以使用嗎？類似Google分析的javascript方法？或者有什麼東西可以分析我的伺服器日誌？謝謝

Answer 1

只需檢查網站伺服器日誌，如果訪客User-Agent請求標頭匹配/包含Googlebot。有很多網頁伺服器日誌分析工具，免費或付費軟體。他們中的大多數也能夠對機器人進行分類。我從他們那裡得到了最好的體驗Google分析。

Answer 2

註冊 Google 網站管理員中心（又稱網站管理員工具），驗證您的網站，然後等待統計資料顯示。

Answer 3

Google Bot 不太可能在您的網站上運行任何 Javascript 來追蹤它的到達，因此最好的希望是查看網站日誌本身 - 無論是在 webalizer 中還是在數百個其他日誌檔案解析器中，或者只是在texteditor 並執行正規表示式來提取Google Bot 使用者代理程式。

然後您應該會看到它在一段時間內產生了多少次點擊。如果太多，您可能需要考慮使用XML網站地圖

Answer 4

我會推薦谷歌分析，它涵蓋了對您網站的所有訪問，您可以確定訪客是否是機器人。它對於您網站上的搜尋引擎優化也非常有用，有助於增加訪客。