Transferindo arquivos grandes usando scp com considerações de CPU e memória

Question

Quero transferir um arquivo arbitrariamente grande (digamos> 20 GB) entre 2 servidores. Tenho várias considerações:

• Deve usar a porta 22 (ssh) devido a restrições de firewall

• Não é possível sobrecarregar a CPU (servidor de produção)

• Eficiência de memória

• Preferiria uma verificação de soma de verificação, mas isso poderia ser feito manualmente

• Tempo énãoda essência

Eu apreciaria uma resposta para vários cenários:

1. O Servidor A e o Servidor B estão na mesma rede privada (compartilhando um switch) e a segurança dos dados não é uma preocupação

2. O Servidor A e o Servidor B não estão na mesma rede e a transferência será feita através da Internet pública, para segurança dos dadoséuma preocupação

Meu primeiro pensamento foi usarlegalem umscpcomando com uma cifra que não faz uso intensivo de CPU (baiacu?). Mas pensei em consultar a comunidade SU para recomendações.

Answer 1

scp deve funcionar bem. Em um ambiente de Internet, a velocidade geral geralmente será determinada mais pela rede do que pela criptografia feita pelo programa scp. Na rede privada, seu plano de usar o baiacu para aliviar um pouco a carga da CPU é bom. Pessoalmente, eu não usaria o comando nice, a menos que a carga da CPU de produção já esteja alta. A maioria dos servidores é limitada por IO, não por CPU - mas você conhece seu sistema melhor do que eu. E definitivamente faça uma soma de verificação md5 ou sha256 no resultado.