☰

Welche Bots und Spider sollte ich in robots.txt blockieren?

tag-icon • tag-icon performance security robots.txt
Welche Bots und Spider sollte ich in robots.txt blockieren?

Um zu:

  1. Erhöhen Sie die Sicherheit meiner Website
  2. Reduzieren Sie den Bandbreitenbedarf
  3. Verhindern Sie das Sammeln von E-Mail-Adressen

Antwort1

Kein Bot, der E-Mails sammelt oder Ihre Site auf Schwachstellen testet, wird Ihre robots.txt-Datei respektieren. Tatsächlich sehen sich diese bösartigen Bots die robots.txt-Datei an, um Ihre Site besser abzubilden. Wenn Sie einen Punkt haben, Disallow:wird dieser verwendet, um Ihre Site besser anzugreifen. Ein Hacker, der Ihre Site manuell überprüft, sollte zusätzliche Zeit damit verbringen, alle Dateien/Verzeichnisse zu untersuchen, die Sie zu verbieten versuchen.

Antwort2

robots.txt erhöht weder die Sicherheit Ihrer Website noch verhindert es das Sammeln von E-Mail-Adressen. robots.txt ist eine Anleitung für Suchmaschinen, um Abschnitte Ihrer Website zu überspringen. Diese werden nicht indexiert und sollten für alle Abschnitte verwendet werden, die nicht in öffentlichen Suchmaschinen angezeigt werden sollen.

Dies wird jedoch in keiner Weise verhindern, dass andere Bots Ihre gesamte Site herunterladen, um die Sicherheit zu erhöhen oder das Sammeln von E-Mails zu verhindern. Um die Sicherheit zu erhöhen, müssen Sie eine Authentifizierung hinzufügen und nur authentifizierten Benutzern den Zugriff auf die gesicherten Bereiche erlauben. Um das Sammeln von E-Mail-Adressen zu verhindern, platzieren Sie keine E-Mails im Klartext (oder in leicht entzifferbarem Text) auf einer Website.

Antwort3

robots.txt hilft Ihnen nicht bei der Sicherheit. Jeder Bot, der etwas Zwielichtiges tun will, wird es sowieso ignorieren.

Antwort4

Anstelle von robots.txt müssen Sie möglicherweise CAPTCHA-Codes verwenden.

verwandte Informationen