Cómo resolver una serie cada vez mayor de incidentes de respuesta 403 al acceder a páginas web

Cómo resolver una serie cada vez mayor de incidentes de respuesta 403 al acceder a páginas web

Tengo importantes problemas para acceder a páginas web https desde casa en cualquier dispositivo. Inicialmente era solo usps.com, pero creció hasta convertirse en Bed Bath and Beyond y AA.com. Específicamente desde cualquier dispositivo de mi red doméstica (IOS, Mac y Windows) obtengo un

Acceso denegado

No tienes permiso para acceder a la "URL web" en este servidor.

Referencia #18.25a75b68.1502569054.2c13e2cf

Sé que no es el sitio web porque me subí a uno de nuestros servidores AWS y puedo acceder a esos mismos sitios web. He borrado cachés y cookies. Probé IE, Chrome, Firefox y Safari. Apagué mi módem y enrutador durante diez minutos y configuré manualmente el DNS en Google. Aún no hay éxito.

Hice un tracert e hice ping a uno de los sitios y todo se ve bien (más o menos).

ping y trazaruta

También miré el mod de desarrollador en Firefox y vi que la respuesta llega al servidor. Recibo una respuesta 403 del servidor.

aa_server_response

Quiero señalar que en realidad tengo dos módems y dos servicios de Internet en casa. Puedo acceder a estos recursos desde mi línea comercial, pero necesito acceder a ellos desde la línea doméstica; esta es una forma complicada de decir que este problema parece específico de mi enrutador doméstico, módem o dirección IP. Le pedí a mi ISP que cambiara mi dirección IP y no lo harán.

Respuesta1

Hice tres cosas diferentes, una de las cuales probablemente resolvió el problema.

  1. Reemplacé el módem Primero, creí que reemplazar mi módem haría que me asignaran una nueva dirección IP, había estado pensando en una más nueva y por eso compré un módem nuevo. Mientras estaba en la llamada con mi ISP para conectar el módem, descubrí que la dirección IP de la compañía de cable está asignada al enrutador, no al módem.

  2. Obtuve una nueva dirección IP. Le expliqué frustrantemente a la persona que me ayudaba lo que había hecho hasta ahora y le indiqué que compraría un nuevo enrutador si fuera necesario. Él me apoyó más y me ayudó con los pasos para obtener una nueva dirección IP. Lo que tenía que hacer era restablecer el módem; esto me daría la mejor oportunidad para una asignación pasiva de una nueva dirección IP sin que él tuviera que hacer nada.

  3. Se actualizó el firmware en el enrutador Cuando el enrutador volvió a encenderse, requirió una actualización de firmware.

Cuando terminé los tres pasos, tuve acceso completo a los sitios con los que tenía problemas. El técnico indicó que esto era algo que ven muy raramente y pensó que mi mejor opción para solucionar problemas en el futuro sería comenzar con el enrutador.

De hecho, sospecho que reemplazar el módem no tuvo nada que ver con la resolución, pero lo mantendré en esta lista porque fue algo que cambió.

Finalmente resolví esto. Utilizo algún código automatizado para visitar el sistema SEC EDGAR y extraer documentos de su colección. Mi uso es legítimo/permitido y realmente alentado por la SEC. Sin embargo,akamaimonitorea el tráfico que pasa por la web y cuando estoyraspadoEDGAR marcan mi dirección ip comomal actor. Luego mantienen una lista que alquilan a varias empresas y que se utiliza para limitar el tráfico a los sitios web de esas empresas. Mi dirección IP aparece en la lista cuando estoy raspando y esas empresas luego paganakamaipara bloquear mi dirección ip para que no pueda acceder a su sitio web - Entre los clientes de Akamai que he tenido problemas con AA.com; USPS.COM, MACYS.com y HarleyDavidson.com.

Parece que me llevará aproximadamente una semana sin raspar obtener mi dirección IP de la lista.

Debo señalar que confirmé esto con un ingeniero de Akamai y un ingeniero de redes de la SEC. La SEC no entiende por qué Akamai utiliza tráfico legítimo hacia EDGAR para identificar raspadores, pero lo entiende.

información relacionada