Comencé un sitio web relativamente nuevo y lo envié a Google y todo. También utilizo las herramientas para webmasters de Google. Me pregunto cómo calcular la frecuencia con la que la araña de Google accede a mi sitio web. Siempre escucho a gente hablar en foros sobre "Me rastrean 250 páginas por hora" y cosas así... ¿Existe algún software que pueda utilizar? ¿Un método de JavaScript similar a Google Analytics? ¿O hay algo para analizar los registros de mi servidor? Gracias
Respuesta1
Simplemente verifique los registros del servidor web si el visitanteUser-Agentel encabezado de la solicitud coincide/contieneGooglebot. Hay mucho deherramientas de análisis de registros del servidor web, ya sea gratuito o de pago. La mayoría de ellos también pueden clasificar los bots. De todos ellos he tenido la mejor experienciaGoogle analitico.
Respuesta2
Regístrese en Google Webmaster Central, también conocido como Webmasters Tools, verifique su sitio y espere a que aparezcan las estadísticas.
Respuesta3
Es bastante improbable que Google Bot ejecute algún Javascript en su sitio que rastree su llegada, por lo que la mejor esperanza es mirar los registros del sitio, ya sea en webalizer o en los cientos de otros analizadores de archivos de registro, o simplemente abrirlos en un editor de texto y ejecute una expresión regular para extraer el agente de usuario de Google Bot.
Deberías ver entonces cuántos golpes da en un espacio de tiempo. Si es demasiado, es posible que quieras considerar el uso de unmapa del sitio XML
Respuesta4
Recomendaría Google Analytics, cubre todas las visitas a su sitio y puede determinar si un visitante era un bot o no. También es excelente para el SEO en su sitio y ayuda a aumentar los visitantes.