Cenário: O cluster Kafka, protegido com criptografia SSL e autenticação SASL/PLAIN, reside em uma sub-rede privada da AWS em uma VPC dedicada. Dentro da sub-rede privada, está tudo bem. Eu uso CA e chaves autogeradas para proteger a comunicação. As identidades do host são baseadas no DNS interno da AWS.
O que desejo alcançar: ter a possibilidade de acessar a API do produtor (nãoAPI REST) de fora.
Estou lutando com a combinação de chaves, DNS, ouvintes kafka e com o fato de que a conexão permanente de um produtor a um corretor possivelmente não é aquela que usei para iniciar a conexão.
Várias tentativas com proxies reversos falharam - até mesmo um túnel ssh não funciona, pois as chaves não podem ser resolvidas.
Alguém tem um tipo de arquitetura de referência para esse caso? Eu poupo os detalhes de configuração aqui, pois estão muito espalhados nas diferentes configurações, chaves, etc., mas se necessário, posso fornecer minhas configurações.
Responder1
Ok, encontrei uma solução - talvez não a mais eficiente, mas boa para mim. Implementei três balanceadores de carga de nível 4 na frente dos três corretores e configurei o endereço advanced_listener de cada corretor com o do balanceador de carga. funciona perfeitamente - mesmo que seja comparativamente caro e reduza um pouco as taxas de tráfego.