Bot auf AWS erkennen

Bot auf AWS erkennen

Wir verwenden Angular für unser Frontend, unser kompilierter Dist-Ordner wird in einen S3-Bucket hochgeladen, der mit einem Load Balancer verbunden ist. Damit unsere Site für Suchmaschinen-Bots korrekt dargestellt wird, haben wir Angular Universal implementiert, das auf einer EC2-Instanz läuft. Die Frage ist, welchen von allen AWS-Diensten wir verwenden können, um Bots zu erkennen (oder sogar ein Skript zuzulassen, das dies tut) und auf die EC2-Instanz umzuleiten. Oder gibt es einen alternativen Ansatz, den man verfolgen kann? Ich beschäftige mich derzeit mit Cloudfront und Lamba.

Antwort1

Eine Lösung besteht darin, Benutzer nach JavaScript-Unterstützung zu trennen.

Wenn man sich duckduckgo.com?q=example ansieht, kann man Folgendes beobachten:

<noscript>
    <meta http-equiv="refresh" content="0;URL=/html?q=example">
</noscript>

Eine weitere Lösung besteht darin, den Benutzeragenten zu überprüfen (Beispiel).

verwandte Informationen