Vou bloquear todos os bots, exceto os grandes motores de busca.
Um dos meus métodos de bloqueio será verificar o "idioma":Accept-Language
Se não tiver Accept-Language, o endereço IP do bot será bloqueado até 2037.
O Googlebot não tem Accept-Language, quero verificá-lo com pesquisa de DNS
<?php
gethostbyaddr($_SERVER['REMOTE_ADDR']);
?>
Posso usar gethostbyaddr, alguém pode passar minha " gethostbyaddrproteção"?
Responder1
Esta é realmente uma questão para Stack Overflow mais do que Server Fault (um site SEO seria realmente melhor), mas o que você tem lá não é confiável. O googlebot pode vir de qualquer número de endereços IP e, assim, reverter pesquisas de DNS. Pode haver milhares de opções diferentes e, se alguma mudar, bam, você bloqueou um bot legítimo por quase 30 anos.
Na verdade, acabei de encontrar umPergunta sobre Stack Overflow aquiisso responde à sua pergunta. Foi o primeiro hit do Google para "Como identificar o Google Bot".
Você identifica os mecanismos de pesquisa por agente de usuário e endereço IP. Mais informações podem ser encontradas em Como identificar spiders e webbots em mecanismos de pesquisa. Também vale a pena observar esta lista. No entanto, você não deve tratar os agentes de usuário (ou mesmo hosts remotos) como necessariamente definitivos. Os agentes de usuário nada mais são do que o que o outro lado diz que é e, claro, é gratuito para lhe dizer qualquer coisa. É trivial escrever código para fingir ser o Googlebot.
(Observação:Na verdade, o Google sugere que você use RDNS para verificar seus bots. Isso pode ser bom para o cenário deles, mas certamente não é uma boa ideia para um uso mais amplo. Além disso, é muito lento).