Я только что зарегистрировался и у меня есть глупый вопрос.
Почему гугл не показывает информацию со страниц "просмотр истории" в википедии?
Например, наэта страница историиесли я гуглю любой текст, яне получитрезультат.
Спасибо.
решение1
Движок веб-сайта специально требует, чтобы эти страницы не индексировались. Страница истории имеет заголовок-тег, распознаваемый поисковыми системами:
<meta name="robots" content="noindex,nofollow"/>
( noindexисключает прямое содержимое страницы, а nofollowтакже сообщает поисковому роботу о необходимости игнорировать любые дальнейшие ссылкиот(эта страница. Последний атрибут может также быть прикреплен к отдельным ссылкам <a>.)
Одной из возможных причин является то, что поисковые системы не всегда могут легко отличить «текущие» и «исторические» страницы, поэтому результаты могут быть переполнены устаревшими данными, которые вы не сможете удалить.
Другая причина в том, что MediaWiki хранит историю в дельта-сжатом формате, и чем старше элемент истории, тем больше ресурсов процессора требуется для его распаковки. (Насколько мне известно, периодически проводятся «полные» контрольные точки, чтобы она не достигла бесконечности, но тем не менее это ненулевое использование ресурсов.) Умножьте это на сотни или тысячи ревизий для каждой отдельной страницы вики, и сканер может быстро перегрузить сервер.
Наконец, помимо раздела истории, Wikipedia также использует /robots.txtфайл для исключения определенных URL из индексации. Например,его файл robots.txtисключает все темы «Голосование за удаление», страницы «Запрос на изменение имени пользователя» и т.п.