Acabo de registrarme y tengo una pregunta estúpida.
¿Por qué Google no muestra información de las páginas de "ver historial" en Wikipedia?
Por ejemplo, enesta página de historiasi busco en google cualquier textono conseguiráresultado.
Gracias.
Respuesta1
El motor del sitio web solicita específicamente que estas páginas no sean indexadas. La página del historial tiene una etiqueta de encabezado reconocida por los motores de búsqueda:
<meta name="robots" content="noindex,nofollow"/>
( noindexexcluye el contenido directo de la página y nofollowtambién le indica al rastreador de búsqueda que ignore cualquier enlace adicional).deesta página. Este último atributo también puede adjuntarse a enlaces <a> individuales).
Una posible razón es que los motores de búsqueda podrían no ser capaces de distinguir fácilmente las páginas "actuales" de las "históricas", por lo que los resultados podrían verse inundados de datos obsoletos que no sería posible eliminar.
Otra razón es que MediaWiki almacena el historial en formato comprimido delta, y cuanto más antiguo es un elemento del historial, más CPU se necesita para descomprimirlo. (Que yo sepa, hay puntos de control "completos" periódicos para que no llegue al infinito, pero, no obstante, es un uso de recursos distinto de cero). Multiplique esto posiblemente por cientos o miles de revisiones para cada página wiki, y el rastreador podría sobrecargar rápidamente el servidor.
Finalmente, además de la sección de historial, Wikipedia también utiliza el /robots.txtarchivo para excluir de la indexación ciertas URL. Por ejemplo,su archivo robots.txtexcluye todos los hilos de "Votar para la eliminación", las páginas de "Solicitud de cambio de nombre de usuario", etc.