Ich habe erhebliche Probleme, von zu Hause aus auf jedem Gerät auf https-Webseiten zuzugreifen. Anfangs war es nur usps.com, aber es hat sich auf Bed Bath and Beyond und AA.com ausgeweitet. Insbesondere von jedem Gerät in meinem Heimnetzwerk (IOS, Mac und Windows) erhalte ich eine
Zugriff abgelehnt
Sie haben keine Berechtigung, auf diesem Server auf die „Web-URL“ zuzugreifen.
Referenz #18.25a75b68.1502569054.2c13e2cf
Ich weiß, dass es nicht an der Website liegt, da ich auf einen unserer AWS-Server gesprungen bin und auf dieselben Websites zugreifen kann. Ich habe Caches und Cookies gelöscht. Ich habe es mit IE, Chrome, Firefox und Safari versucht. Ich habe mein Modem und meinen Router zehn Minuten lang ausgeschaltet und den DNS manuell auf Google eingestellt. Immer noch kein Erfolg.
Ich habe ein Tracert ausgeführt und eine der Sites angepingt und alles sieht (mehr oder weniger) gut aus.
Ich habe mir auch den Entwicklermod in Firefox angesehen und gesehen, dass die Antwort den Server erreicht. Ich erhalte eine 403-Antwort vom Server.
Ich möchte darauf hinweisen, dass ich zu Hause eigentlich zwei Modems und zwei Internetdienste habe. Ich kann über meine Geschäftsleitung auf diese Ressourcen zugreifen, muss aber über die Privatleitung darauf zugreifen – das ist eine umständliche Art zu sagen, dass dieses Problem anscheinend nur bei meinem Heimrouter und/oder Modem und/oder meiner IP-Adresse auftritt. Ich habe meinen ISP gebeten, meine IP-Adresse zu ändern, aber er wird es nicht tun.
Antwort1
Ich habe drei verschiedene Dinge getan, eines davon hat das Problem wahrscheinlich gelöst.
Modem ausgetauscht Zuerst dachte ich, dass ich durch den Austausch meines Modems eine neue IP-Adresse erhalten würde. Ich hatte über ein neueres nachgedacht und mir deshalb ein neues Modem gekauft. Während des Telefonats mit meinem ISP, um das Modem online zu bringen, stellte ich fest, dass die IP-Adresse des Kabelanbieters dem Router und nicht dem Modem zugewiesen ist.
Habe eine neue IP-Adresse bekommen. Frustriert erklärte ich der Person, die mir half, was ich bisher getan hatte, und gab zu verstehen, dass ich mir bei Bedarf einen neuen Router kaufen würde. Er war hilfsbereiter und half mir bei den Schritten, um eine neue IP-Adresse zu bekommen. Was ich tun musste, war, das Modem zurückzusetzen – das würde mir dann die beste Möglichkeit für eine passive Zuweisung einer neuen IP-Adresse geben, ohne dass er etwas tun musste.
Die Firmware auf dem Router wurde aktualisiert. Als der Router wieder eingeschaltet wurde, war eine Firmware-Aktualisierung erforderlich.
Als die drei Schritte abgeschlossen waren, hatte ich vollen Zugriff auf die Websites, mit denen ich Probleme hatte. Der Techniker meinte, dass dies etwas sei, das sie sehr, sehr selten sehen, und er meinte, dass ich bei zukünftigen Problemen am besten mit dem Router beginnen sollte.
Ich vermute eigentlich, dass der Austausch des Modems nichts mit der Lösung zu tun hatte, aber ich behalte es in dieser Liste, da es etwas war, das sich geändert hat
Ich habe das endlich geklärt. Ich verwende einen automatisierten Code, um das EDGAR-System der SEC aufzurufen und Dokumente aus deren Sammlung zu extrahieren. Meine Nutzung ist legitim / erlaubt und wird von der SEC sogar gefördert. AllerdingsAkamaiüberwacht den Datenverkehr im Internet und wann ichSchabenEDGAR sie kennzeichnen meine IP-Adresse alsschlechter Schauspieler. Sie führen dann eine Liste, die sie an eine Reihe von Unternehmen vermieten, die dazu verwendet wird, den Verkehr auf diese Unternehmenswebsites zu beschränken. Meine IP-Adresse kommt auf die Liste, wenn ich scrape, und diese Unternehmen zahlen dannAkamaium den Zugriff meiner IP-Adresse auf ihre Website zu blockieren – Zu den Akamai-Kunden, mit denen ich Probleme hatte, gehören AA.com, USPS.COM, MACYS.com und HarleyDavidson.com.
Es scheint ungefähr eine Woche zu dauern, bis ich meine IP-Adresse aus der Liste bekomme, ohne Scraping durchzuführen.
Ich sollte anmerken, dass ich dies mit einem Akamai-Ingenieur und einem Netzwerkingenieur bei der SEC bestätigt habe. Die SEC versteht nicht, warum Akamai legitimen Datenverkehr zu EDGAR verwendet, um Scraper zu identifizieren, aber sie verstehen es.