Digamos que haja um cluster/conjunto de processos que se comunicam via REST/HTTP (que poderia descrever muitos produtos atualmente). Qual é uma maneira simples e boa de visualizar a comunicação entre eles em algum tipo de ferramenta visual interessante? Eles podem ser orquestrados pelo Zookeeper, mas não necessariamente. (Além disso, se eles estiverem na mesma máquina, o ideal seria usar o netstat para descobrir quem liga para quem - seria bom se tudo estivesse disponível de alguma forma). Tem que funcionar no Linux.
Sim, eu sei que posso usar proxies, etc., mas isso exige muito trabalho manual. Wireshark e relacionados dão ainda mais trabalho. Estou me perguntando se existe uma solução mais pronta para uso para algo assim.
Uma abordagem é apenas baseada no Wireshark, mas voltada apenas para mostrar o tráfego HTTP com determinados critérios que já funcionam.
A razão pela qual o Zookeeper é mencionado talvez seja outra maneira de interrogar o Zookeeper e substituir as portas por portas proxy e rotear todo o tráfego através delas - mas, novamente, gostaria de algo que já funcionasse.
Responder1
Se você só precisa saber quem liga para quem (não os detalhes do que foi dito), você pode aumentar o registro no nível da rede via iptables, coletar os syslogs centralmente e analisá-los na forma que precisar. Ou você pode usar algo como ntop/nprobe para coletar dados de conexão resumidos em cada host e, em seguida, alimentá-los em uma ferramenta central de relatório do NetFlow. Dependendo do seu ambiente, você pode até coletar esses dados do hardware da sua rede.
Se precisar saber mais sobre o que foi dito, você precisará de proxies, embora possam ser simples rodando no mesmo servidor, alimentando seus logs em um servidor central para análise.
A melhor solução seria modificar seu software para incluir seu próprio recurso de registro, mesmo que isso só acontecesse no "modo de depuração", para que você também pudesse usá-lo para corrigir problemas no futuro.
Veja também: http://www.tokiwinter.com/adding-logging-to-iptables-under-centos/