어떤 기기에서든 집에서 https 웹 페이지에 액세스하는 데 심각한 문제가 있습니다. 처음에는 usps.com이었지만 Bed Bath and Beyond 및 AA.com으로 성장했습니다. 특히 내 홈 네트워크(IOS, Mac 및 Windows)의 모든 장치에서
접근 불가
이 서버의 'web-url'에 액세스할 수 있는 권한이 없습니다.
참조 #18.25a75b68.1502569054.2c13e2cf
AWS 서버 중 하나에 접속하여 동일한 웹사이트에 액세스할 수 있으므로 해당 웹사이트가 아니라는 것을 알고 있습니다. 캐시와 쿠키를 지웠습니다. IE, Chrome, Firefox 및 Safari를 사용해 보았습니다. 모뎀과 라우터를 10분 동안 끄고 수동으로 DNS를 Google로 설정했습니다. 아직도 성공하지 못했습니다.
나는 추적을 수행하고 사이트 중 하나에 핑을 보냈고 모든 것이 좋아 보입니다(다소간).
또한 Firefox에서 개발자 모드를 살펴보고 응답이 서버에 전달되는 것을 확인했습니다. 서버에서 403 응답을 받고 있습니다.
나는 실제로 집에 두 개의 모뎀과 두 개의 인터넷 서비스가 있다는 점을 기억하고 싶습니다. 이러한 리소스는 내 비즈니스 회선에서 액세스할 수 있지만 홈 회선에서 액세스해야 합니다. 이는 이 문제가 내 홈 라우터, 모뎀 및/또는 IP 주소와 관련된 것으로 보인다는 복잡한 표현입니다. ISP에 IP 주소 변경을 요청했지만 변경되지 않았습니다.
답변1
나는 세 가지 다른 작업을 수행했는데 그 중 하나가 문제를 해결했을 것입니다.
모뎀 교체 먼저 모뎀을 교체하면 새 IP 주소가 할당될 것이라고 믿었고, 새로운 IP 주소를 생각하고 있었고 새 모뎀을 구입했습니다. 모뎀을 온라인으로 전환하기 위해 ISP와 통화하는 동안 케이블 회사의 IP 주소가 모뎀이 아닌 라우터에 할당되어 있음을 발견했습니다.
새 IP 주소를 받았습니다. 나는 지금까지 내가 한 일을 도와준 사람에게 답답하게 설명하고 필요하면 새 라우터를 구입하겠다고 말했습니다. 그는 더욱 지원적이었고 새 IP 주소를 얻는 단계를 도와주었습니다. 내가 해야 할 일은 모뎀을 재설정하는 것이었습니다. 이렇게 하면 그가 아무것도 하지 않고도 새 IP 주소를 수동적으로 할당할 수 있는 최고의 기회를 얻을 수 있었습니다.
라우터의 펌웨어 업데이트 라우터가 다시 작동할 때 펌웨어 업데이트가 필요했습니다.
세 단계가 완료되었을 때 나는 어려움을 겪고 있던 사이트에 대한 전체 액세스 권한을 갖게 되었습니다. 기술 담당자는 이것이 매우 드물게 발생하는 현상이며 향후 문제 해결을 위한 최선의 방법은 라우터부터 시작하는 것이라고 생각했습니다.
실제로 모뎀 교체가 해상도와 아무 관련이 없다고 생각하지만 변경된 사항이므로 이 목록에 유지합니다.
드디어 이걸 정리했습니다. 나는 일부 자동화된 코드를 사용하여 SEC EDGAR 시스템을 방문하고 해당 컬렉션에서 문서를 추출합니다. 나의 사용은 합법적/허용되었으며 실제로 SEC에서 권장합니다. 하지만,아카마이웹을 통과하는 트래픽과 내가 언제 작업하는지 모니터링합니다.긁기EDGAR 그들은 내 IP 주소를 다음과 같이 표시합니다.나쁜 배우. 그런 다음 해당 회사 웹사이트에 대한 트래픽을 제한하는 데 사용되는 여러 회사에 임대할 목록을 유지 관리합니다. 내가 스크래핑할 때 내 IP 주소가 목록에 올라가고 해당 회사에서 비용을 지불합니다.아카마이내 IP 주소가 해당 웹사이트에 액세스하지 못하도록 차단 - Akamai 고객 중 AA.com에 문제가 있었던 적이 있습니다. USPS.COM, MACYS.com 및 HarleyDavidson.com.
목록의 내 IP 주소를 가져오는 데는 스크래핑 없이 일주일 정도 소요되는 것 같습니다.
저는 Akamai 엔지니어와 SEC의 네트워크 엔지니어에게 이 사실을 확인했습니다. SEC는 Akamai가 스크래퍼를 식별하기 위해 EDGAR에 대한 합법적인 트래픽을 사용하는 이유를 이해하지 못하지만 실제로 그렇게 합니다.