У меня возникли серьезные проблемы с доступом к https веб-страницам из дома на любом устройстве. Изначально это был просто usps.com, но он вырос до Bed Bath and Beyond и AA.com. В частности, с любого устройства в моей домашней сети (IOS, Mac и Windows) я получаю
Доступ запрещен
У вас нет прав доступа к «web-url» на этом сервере.
Ссылка #18.25a75b68.1502569054.2c13e2cf
Я знаю, что это не сайт, так как я зашел на один из наших серверов AWS и могу получить доступ к этим же сайтам. Я очистил кэши и куки. Я пробовал IE, Chrome, Firefox и Safari. Я выключил модем и маршрутизатор на десять минут и вручную установил DNS на Googles. Все еще безуспешно.
Я сделал tracert и пинг одного из сайтов, и все выглядит хорошо (более или менее).
Я также посмотрел на модуль разработчика в Firefox и увидел, что ответ доходит до сервера. Я получаю ответ 403 от сервера.
Хочу отметить, что у меня дома два модема и два интернет-сервиса. Я могу получить доступ к этим ресурсам с моей рабочей линии, но мне нужно получить к ним доступ с домашней линии — это замысловатый способ сказать, что эта проблема, похоже, специфична для моего домашнего маршрутизатора и/или модема и/или IP-адреса. Я просил своего интернет-провайдера изменить мой IP-адрес, но они этого не сделали.
решение1
Я сделал три разных вещи, одна из которых, скорее всего, решила проблему.
Заменил модем Сначала я думал, что замена модема приведет к назначению мне нового IP-адреса, я думал о более новом и поэтому купил новый модем. Во время разговора с моим интернет-провайдером, чтобы подключить модем, я обнаружил, что IP-адрес от кабельной компании назначен маршрутизатору, а не модему.
Получил новый IP-адрес. Я с досадой объяснил человеку, который помогал, что я уже сделал, и сказал, что куплю новый маршрутизатор, если понадобится. Он был более поддерживающим и помог мне с шагами по получению нового IP-адреса. Мне нужно было сбросить настройки модема — это дало бы мне наилучшую возможность для пассивного назначения нового IP-адреса без его участия.
Обновление прошивки на маршрутизаторе. Когда маршрутизатор снова включился, потребовалось обновление прошивки.
Когда все три шага были выполнены, у меня появился полный доступ к сайтам, с которыми я боролся. Техник сказал, что это то, что они видят очень-очень редко, и он подумал, что лучшим вариантом для устранения неполадок в будущем будет начать с маршрутизатора.
На самом деле я подозреваю, что замена модема не имела никакого отношения к разрешению, но я сохраняю это в этом списке, поскольку это что-то изменило.
Я наконец-то разобрался с этим. Я использую некий автоматизированный код для посещения системы SEC EDGAR и извлечения документов из их коллекции. Мое использование является законным / разрешенным и фактически поощряется SEC. Однако,Акамайотслеживает трафик, проходящий через Интернет, и когда ясоскобЭДГАР, они помечают мой IP-адрес какплохой актер. Затем они ведут список, который сдают в аренду нескольким компаниям, который используется для ограничения трафика на веб-сайты этих компаний. Мой IP-адрес попадает в список, когда я занимаюсь скрапингом, а затем эти компании платятАкамайзаблокировать доступ моего IP-адреса к их веб-сайту - Среди клиентов Akamai, у которых у меня возникли проблемы с AA.com; USPS.COM, MACYS.com и HarleyDavidson.com.
Похоже, что на то, чтобы получить мой IP-адрес из списка, ушла примерно неделя без каких-либо усилий.
Я должен отметить, что я подтвердил это инженером Akamai и сетевым инженером из SEC. SEC не понимает, почему Akamai использует легитимный трафик в EDGAR для идентификации скраперов, но они это делают.