Como transferir dados compactados de 35 GB do servidor local para o remoto?

Como transferir dados compactados de 35 GB do servidor local para o remoto?

Por favor, sugira-me a maneira MAIS RÁPIDA de transferir dados compactados de 35 GB (usando 7zip) do meu laptop para o servidor remoto. Por favor poste o comando também. Eu usei o SCP, mas é terrivelmente lento, o rsync é melhor, mas com sua velocidade de aproximadamente 1 MB/min, pode demorar muito, muito tempo. Existe alguma maneira melhor?

Responder1

ftp e http são os mais rápidos, ftp é mais rápido para um número menor de arquivos grandes e http mais rápido para um número maior de arquivos pequenos (sem surpresa, considerando a natureza do tráfego http).

Verhttps://stackoverflow.com/questions/9707900/what-is-the-fastest-way-to-transfer-files-over-a-network-ftp-http-rsync-etc

Referências adicionais -https://www.disk91.com/2014/technology/networks/compare-desempenho-de-diferente-file-transfer-protocol-over-latency/

Nota: Seu provedor de internet pode limitar a velocidade de upload dependendo do seu provedor. Se o seu provedor estiver impondo um limite de velocidade ou de dados, isso pode não importar.

Você também pode usar outros métodos, consultehttp://moo.nac.uci.edu/~hjm/HOWTO_move_data.html

Responder2

35GiB levará cerca de 25 dias a 1MB/minuto (17kB/s). Como levará muito tempo, eu me concentraria em uma maneira que permita retomar facilmente. Isso exclui o scp, pelo que sei, e examinaria os seguintes candidatos:

Configurar um servidor web para servir um único arquivo é bastante fácil; uma instalação padrão do Ubuntu pode fazer isso sem qualquer configuração, desde que a máquina esteja acessível pela Internet. Basta colocar o arquivo /var/www/html/(ou vinculá-lo lá).

Use wget -c http://example.com/file.tarpara retomar o download se for interrompido. Isso funciona de forma bastante confiável. Como é algo único, não se preocupe com certificados SSL - criptografe e assine os dados se estiver preocupado com segurança e integridade.

O Rsync é transferido por SSH, por isso é seguro. Ele suporta continuação contínua. deve suportar currículo e transferir o arquivo sem preocupações.rsync -P localfile [email protected]:remotefile

Mas 25 dias é muito tempo. Provavelmente, você pode copiar a unidade para uma unidade USB e enviá-la pelo correio com mais rapidez. Drives USB de 64GiB podem ser adquiridos por cerca de 20USD. Se você enviar por DHL, ele chegará a quase qualquer lugar dentro de 3-4 dias.

Resumindo - a opção mais rápida com essa quantidade de dados e a velocidade de conexão que você está vendo, a melhor opção é provavelmente colocá-los em uma unidade externa e enviá-los por correio.

Ou vá para algum lugar com uma conexão decente - 35GiB a uma conexão de 100Mb/s levará menos de uma hora.

Para criptografar e assinar o arquivo, você pode usar gpg. Configure um par de chaves, criptografe o arquivo e assine-o. Na extremidade remota, você verifica a assinatura e a descriptografa. Isso garante segurança e integridade ao transportar através de um canal não confiável, como correio ou http. Se você usar o rsync, o ssh cuidará disso para você.

Responder3

Como a Panther afirmou, opções não criptografadas como FTPou HTTPseriam as mais rápidas. Porém, se houver algo que você prefere que não seja público na internet, recomendo que você use um método criptografado. Você pode tentar algo como criar uma página de login simples em PHP (usando uma instrução if), instalar e configurar nginxou apachepara HTTPS e ter um link de download que somente você possa acessar. HTTPS deve ser rápido, pois usa compactação, e você pode usar um programa para axelinstalar esse arquivo usando múltiplas conexões.

A resposta mais simples, supondo que sua conexão com a Internet seja o gargalo, e não a CPU, seria usar SFTPo -Csinalizador para ativar a compactação, embora, como você já a comprimiu, a quantidade que pode ser compactada ainda mais seja bastante pequena. A coisa mais fácil a fazer é compactar os arquivos novamente com um método mais eficiente.

informação relacionada