Я запустил относительно новый веб-сайт и отправил его в Google и все такое. Я также использую инструменты веб-мастера Google. Мне интересно, как узнать частоту посещения моего веб-сайта поисковым роботом Google. Я постоянно слышу, как люди говорят на форумах о том, что «у меня сканируется 250 страниц в час» и т. д. Есть ли программное обеспечение, которое можно использовать? Метод JavaScript, похожий на Google Analytics? Или есть что-то для анализа журналов моего сервера? Спасибо
решение1
Просто проверьте журналы веб-сервера, если посетительUser-Agentзаголовок запроса соответствует/содержитGooglebot. Есть многоинструменты анализа логов веб-сервера, как бесплатные, так и платные. Большинство из них также могут классифицировать ботов. Из всех них у меня был лучший опыт сГугл Аналитика.
решение2
Зарегистрируйтесь в Google Webmaster Central (он же Инструменты для веб-мастеров), подтвердите свой сайт и дождитесь появления статистики.
решение3
Маловероятно, что Google Bot запустит на вашем сайте какой-либо Javascript, который отследит его поступление, поэтому лучше всего просмотреть сами логи сайта — либо в Webalizer, либо в сотнях других парсеров файлов журналов, либо просто открыть их в текстовом редакторе и выполнить регулярное выражение для извлечения пользовательского агента Google Bot.
Вы должны увидеть, сколько ударов он делает за промежуток времени. Если это слишком много, вы можете рассмотреть использованиеXML-карта сайта
решение4
Я бы рекомендовал Google Analytics, он охватывает все посещения вашего сайта, и вы можете выяснить, был ли посетитель ботом или нет. Он также отлично подходит для SEO на вашем сайте, помогая увеличить количество посетителей.