
Estou procurando enviar programaticamente solicitações de raspagem contendo informações confidenciais por meio de um serviço de proxy rotativo de encaminhamento de terceiros, comoSmartProxypara uma API HTTPS. O proxy será capaz de descriptografar minha solicitação e ler alguma informação?
Obrigado, Mike
Responder1
O proxy será capaz de descriptografar minha solicitação e ler alguma informação?
Normalmente, não.
Quando você usa um proxy de encaminhamento normal e tenta se conectar a um site https, seu navegador emite umCONNECT
-comando, contendo um nome de host e um número de porta. Assim, o proxy aprenderá o nome do host e a porta à qual você está se conectando. No entanto, o fluxo TCP que está em proxy será criptografado:
Por exemplo, o método CONNECT pode ser usado para acessar sites que utilizam SSL (HTTPS). O cliente solicita a um servidor proxy HTTP para encapsular a conexão TCP até o destino desejado. O servidor então prossegue para fazer a conexão em nome do cliente. Depois que a conexão for estabelecida pelo servidor, o servidor proxy continuará a fazer proxy do fluxo TCP de e para o cliente.
Assim o proxy não aprenderá o conteúdo, pois ele está criptografado. Istopoderiaser capaz de inferir coisas sobre o conteúdo, pois conhece o nome do host e o tamanho do tráfego. Mas não verá o tráfego de texto não criptografado.
Observe que esta resposta não é verdadeira para proxies de colisão TLS usados, por exemplo, em ambientes corporativos.
Responder2
Depende se o proxy funciona no nível HTTP ou no nível TCP.
Se for um proxy HTTP, para que a solicitação HTTP seja lida, ela deverá ser decodificada pelo proxy. Em outras palavras, eles seriam capazes de ler o tráfego, mas o tráfego de entrada e saída seria criptografado.
Se for um proxy TCP, o SSL será tratado entre o cliente e o seu servidor e, portanto, o proxy não será capaz de decodificar o tráfego sem o certificado privado.
Ao que parece, parece que eles poderiam potencialmente observar o tráfego:
"Atualmente, oferecemos suporte apenas a protocolos HTTP/S. Este protocolo de comunicação é criptografado usando um algoritmo proprietário."
De:https://smartproxy.com/faq/general#what-protocols-are-supported
Parece que a causa de uso desse proxy realmente não corresponde à "necessidade de enviar dados confidenciais" - parece que isso é mais para descartar sites e mídias sociais que bloquearão solicitações do mesmo IP que atingem repetidamente o site.