Eu tenho um servidor de streaming com placa de 10gbps. Estou usando ~ 2,5 gbps.
Meu servidor está funcionando perfeitamente por 8 a 9 horas/dia, e depois disso fica louco e todo mundo está congelando. Exatamente ao mesmo tempo, reinicio o sistema e tudo volta ao normal.
Eu tenho conexões de monitor, saída de largura de banda de tudo. De 2,5 gbps, depois de 8 a 9 horas vai para 1 gbps, é por isso que todo mundo está congelando, mas depois de reiniciar tudo volta ao normal.
Alguém tem alguma explicação sobre isso?
Esta é minha configuração do sysctl
net.core.somaxconn = 65535
net.ipv4.route.flush=1
net.ipv4.tcp_no_metrics_save=1
net.ipv4.tcp_moderate_rcvbuf = 1
fs.file-max = 6815744
fs.aio-max-nr = 6815744
fs.nr_open = 6815744
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_sack = 1
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_rmem = 10000000 10000000 10000000
net.ipv4.tcp_wmem = 10000000 10000000 10000000
net.ipv4.tcp_mem = 10000000 10000000 10000000
net.core.rmem_max = 524287
net.core.wmem_max = 524287
net.core.rmem_default = 524287
net.core.wmem_default = 524287
net.core.optmem_max = 524287
net.core.netdev_max_backlog = 300000
net.ipv4.tcp_max_syn_backlog = 300000
vm.swappiness=1
net.netfilter.nf_conntrack_max=196608
net.ipv4.tcp_window_scaling = 1
vm.max_map_count = 655300
net.ipv4.tcp_max_tw_buckets = 1440000
O streaming está sendo feito usando PHP-FPM e nginx.
Estou no Ubuntu 14.04 64 bits com kernel padrão. Eu tentei os mesmos resultados do kernel 4.8.
Responder1
lançar um monte de opções de configuração e alguns dados aleatórios sobre o seu sistema para nós não é nada útil.
Você precisa aplicar o método científico.
- Instalar monitoramento
- Coletar dados
- Use os dados para ajudar a entender o sistema
- Faça alterações com base no que você aprendeu acima
- Monitorar alterações
- Repita a análise e faça as alterações conforme necessário
- Alterações no documento
Não se trata de engenharia de foguetes ou mesmo de fatos alternativos. Princípios simples de gerenciamento de sistema aplicados são tudo que você precisa.
Responder2
Sua postagem está um tanto confusa.
depois disso está ficando louco
Implica aumento de atividade, mas você diz...
todo mundo está congelando
... mas então você contradiz a afirmação de que "todos" são afetados ao dizer
De 2,5 gbps, após 8 a 9 horas passa para 1 gbps
Se você ainda estiver enviando 1 Gbps, é claro que alguns clientes não serão afetados. Você também afirma:
O streaming está sendo feito usando PHP-FPM e nginx
... nesse caso énãotransmissão. HTTP e fastCGI não são protocolos de streaming.
Com base nas informações que você forneceu, não podemos dizer qual ios está errado com o seu servidor, mas umprovávela causa é que a tabela nfconntrack está cheia.
net.netfilter.nf_conntrack_max=196608
Quantos baldes estão em uso?
Também é possível que seu servidor esteja atrás de um roteador com comportamento incorreto/não receba notificações de congestionamento.