自宅のどのデバイスからでもhttpsウェブページにアクセスできないという重大な問題が発生しています。最初はusps.comだけでしたが、Bed Bath and BeyondやAA.comにも拡大しました。特に自宅のネットワーク上のどのデバイス（IOS、Mac、Windows）からでも、
アクセスが拒否されました
このサーバーの「web-url」にアクセスする権限がありません。
参照番号18.25a75b68.1502569054.2c13e2cf
AWS サーバーの 1 つにアクセスして同じ Web サイトにアクセスできたので、Web サイトの問題ではないことはわかっています。キャッシュと Cookie をクリアしました。IE、Chrome、Firefox、Safari を試しました。モデムとルーターを 10 分間オフにし、DNS を手動で Google に設定しました。それでも成功しません。
私は tracert を実行し、サイトの 1 つに ping を実行しましたが、すべて (ほぼ) 正常に見えます。
また、Firefox の開発者モードを確認したところ、応答がサーバーに届いており、サーバーから 403 応答が返されていることがわかりました。
自宅にはモデムが 2 つとインターネット サービスが 2 つあることを指摘しておきます。これらのリソースにはビジネス ラインからアクセスできますが、自宅のラインからアクセスする必要があります。これは、この問題が自宅のルーター、モデム、または IP アドレスに固有のものであることを複雑に表現したものです。ISP に IP アドレスの変更を依頼しましたが、変更してもらえませんでした。
答え1
私は 3 つの異なることを行いましたが、そのうちの 1 つで問題は解決したと思われます。
モデムを交換しました。まず、モデムを交換すると新しい IP アドレスが割り当てられると思っていましたが、新しいものを検討していたので、新しいモデムを購入しました。モデムをオンラインにするために ISP と電話しているときに、ケーブル会社からの IP アドレスはモデムではなくルーターに割り当てられていることに気付きました。
新しい IP アドレスを取得しました。私はこれまで自分がやってきたことをいらいらしながらも、サポートしてくれた人に説明し、必要なら新しいルーターを購入するつもりだと伝えました。彼はより協力的で、新しい IP アドレスを取得する手順を手伝ってくれました。私がする必要があったのはモデムをリセットすることでした。そうすれば、彼が何もしなくても、新しい IP アドレスをパッシブに割り当てる最高の機会が得られます。
ルーターのファームウェアを更新しました。ルーターが復帰したときに、ファームウェアの更新が必要でした。
3 つの手順が完了すると、問題があったサイトに完全にアクセスできるようになりました。技術者は、これは非常にまれなケースであり、今後のトラブルシューティングにはルーターから始めるのが最善策だと考えました。
モデムを交換しても解決には関係ないのではないかと思うのですが、変更された部分なのでこのリストに残しておきます。
ようやくこの問題を解決できました。自動化されたコードを使用して SEC EDGAR システムにアクセスし、そのコレクションから文書を抽出しました。私の使用は合法であり、SEC によって許可されており、実際に奨励されています。しかし、アカマイウェブ上のトラフィックを監視し、私が削るEDGAR彼らは私のIPアドレスを悪い俳優彼らはリストを管理し、それをいくつかの企業に貸し出して、その企業のウェブサイトへのトラフィックを制限するのに利用しています。私がスクレイピングをすると、私のIPアドレスがリストに載り、その企業はアカマイ私の IP アドレスが彼らの Web サイトにアクセスできないようにブロックします - Akamai のクライアントの中には、AA.com、USPS.COM、MACYS.com、HarleyDavidson.com で問題が発生したものがあります。
リストの IP アドレスを取得するには、スクレイピングなしで約 1 週間かかるようです。
私は Akamai のエンジニアと SEC のネットワーク エンジニアにこれを確認したことを述べておきます。SEC は Akamai がスクレイパーを識別するために EDGAR への正当なトラフィックを使用する理由を理解していませんが、SEC は理解しています。