為什麼谷歌不在維基百科歷史部分搜尋？

Question

我剛剛註冊，有一些愚蠢的問題。
為什麼Google不顯示維基百科上「查看歷史記錄」頁面的資訊？
例如，關於此歷史頁面如果我用谷歌搜尋任何文字不會得到結果。
謝謝。

Answer 1

網站引擎特別要求不要對這些頁面建立索引。歷史頁面有一個被搜尋引擎識別的標題標籤：

<meta name="robots" content="noindex,nofollow"/>

(noindex排除頁面的直接內容，並nofollow告訴搜索爬蟲忽略任何進一步的鏈接從這一頁。後一個屬性也可以附加到各個 <a> 連結。

一個可能的原因是搜尋引擎可能無法輕鬆區分「目前」頁面和「歷史」頁面，因此結果可能會被您無法刪除的過時資料淹沒。

另一個原因是 MediaWiki 以增量壓縮格式儲存歷史記錄，歷史記錄項目越舊，解壓縮它所需的 CPU 就越多。 （據我所知，有週期性的「完整」檢查點，這樣它就不會陷入無窮大，但它仍然是非零資源使用。）將此乘以每個維基頁面可能數百或數千個修訂，爬蟲可能會很快伺服器就超載了。

最後，除了歷史部分之外，維基百科還使用該/robots.txt文件來排除某些 URL 不被索引。例如，它的 robots.txt 文件排除所有「投票刪除」執行緒、「使用者名稱變更請求」頁面等。