Em nossos servidores existe uma dependência específica (java jar), que faz um total de 1024 conexões com diversos servidores remotos (a biblioteca funciona como um serviço de descoberta).
Intermitentemente, observa-se que todas as conexões do pool de conexões se esgotam e não há conexões disponíveis para o tráfego de entrada para aquele serviço específico. Nesses casos, reiniciar esse serviço é a única forma de liberar as conexões.
Quando esses problemas ocorrem, o netstat mostra que várias conexões (1000+) estão no estado ESTABLISHED e possuem um número muito alto em recvQ .
tcp 71464 0 localhost:57076 remote-host1:31200 ESTABLISHED
tcp 70512 0 localhost:47611 remote-host2:31200 ESTABLISHED
tcp 66184 0 localhost:44825 remote-host3:31200 ESTABLISHED
tcp 70512 0 localhost:40802 remote-host4:31200 ESTABLISHED
tcp 70016 0 localhost:58045 remote-host5:31200 ESTABLISHED
tcp 71464 0 localhost:35375 remote-host6:31200 ESTABLISHED
tcp 71464 0 localhost:48860 remote-host7:31200 ESTABLISHED
Qual poderia ser o possível problema: a conexão não está recebendo os dados do host remoto.