☰

Wie kann ich einen Googlebot verifizieren?

tag-icon • tag-icon php google
Wie kann ich einen Googlebot verifizieren?

Ich werde alle Bots außer den großen Suchmaschinen blockieren.

Eine meiner Blockierungsmethoden wird die Überprüfung auf „Sprache“ sein:Accept-Language

Wenn keine Accept-Language vorhanden ist, wird die IP-Adresse des Bots bis 2037 blockiert.

Googlebot hat nicht Accept-Language, ich möchte es mit DNS-Lookup überprüfen

<?php
    gethostbyaddr($_SERVER['REMOTE_ADDR']);
?>

Darf ich es verwenden ? gethostbyaddrKann jemand meinen „ gethostbyaddrSchutz“ umgehen?

Antwort1

Diese Frage ist eher für Stack Overflow als für Server Fault (eine SEO-Site wäre eigentlich am besten), aber was Sie da haben, ist sehr unzuverlässig. Der Googlebot könnte von einer beliebigen Anzahl von IP-Adressen kommen und somit DNS-Suchvorgänge rückgängig machen. Es könnte Tausende verschiedener Optionen geben, und wenn sich eine ändert, dann haben Sie einen legitimen Bot fast 30 Jahre lang blockiert.

Tatsächlich habe ich gerade eineStack Overflow-Frage hierdas beantwortet deine Frage. Es war der erste Google-Treffer für "So identifizieren Sie den Google Bot".

Suchmaschinen identifizieren Sie anhand des User-Agents und der IP-Adresse. Weitere Informationen finden Sie unter So identifizieren Sie Suchmaschinen-Spider und Webbots. Beachten Sie auch diese Liste. Sie sollten User-Agents (oder sogar Remote-Hosts) jedoch nicht unbedingt als endgültig betrachten. User-Agents sind eigentlich nichts weiter als das, was Ihnen das andere Ende sagt, und es steht Ihnen natürlich frei, alles zu sagen. Es ist trivial, Code zu schreiben, um vorzutäuschen, ein Googlebot zu sein.

(Notiz:Google empfiehlt tatsächlich die Verwendung von RDNS zur Verifizierung der Bots. Das mag für ihr Szenario in Ordnung sein, ist aber für eine breitere Nutzung sicherlich keine gute Idee. Außerdem ist es sehr langsam).

verwandte Informationen