Comecei um site relativamente novo e o enviei ao Google e tudo mais. Eu também uso as ferramentas para webmasters do Google. Estou me perguntando como descobrir a frequência com que o spider do Google acessa meu site. Sempre ouço pessoas falando em fóruns sobre "Estou recebendo 250 páginas rastreadas por hora" e assim por diante... Existe software para usar? Um método javascript semelhante ao Google Analytics? Ou há algo para analisar os logs do meu servidor? Obrigado
Responder1
Basta verificar os logs do servidor web se o visitanteUser-Agentcabeçalho da solicitação corresponde/contémGooglebot. Existem muitosferramentas de análise de log de servidor web, gratuito ou pago. A maioria deles também é capaz de categorizar bots. De todos eles tive a melhor experiênciaGoogle Analytics.
Responder2
Inscreva-se na Central do webmaster do Google, também conhecida como Ferramentas para webmasters, verifique seu site e aguarde as estatísticas aparecerem.
Responder3
É bastante improvável que o Google Bot execute qualquer Javascript em seu site que rastreie sua chegada, então a melhor esperança é olhar os próprios logs do site - no webalizer ou em centenas de outros analisadores de arquivos de log, ou apenas abri-los em um editor de texto e execute um regex para extrair o agente do usuário do Google Bot.
Você deverá ver quantos acertos ele faz em um espaço de tempo. Se for muito, você pode querer usar umMapa do site XML
Responder4
Eu recomendaria o Google Analytics, ele cobre todas as visitas ao seu site e você pode descobrir se um visitante era um bot ou não. Também é excelente para SEO em seu site, ajudando a aumentar o número de visitantes.