Linux para Linux, transferência de 10 TB?

Linux para Linux, transferência de 10 TB?

Eu olhei para todas as perguntas semelhantes anteriores, mas as respostas pareciam estar em todo lugar e ninguém estava se movendo.muitode dados (100 GB é diferente de 10 TB).

Tenho cerca de 10 TB que preciso mover de um array RAID para outro, gigabit Ethernet, a enciclopédia gratuita,XFSsistemas de arquivos. Minha maior preocupação é que a transferência morra no meio do caminho e não possa ser retomada facilmente. A velocidade seria boa, mas garantir a transferência é muito mais importante.

Normalmente eu apenas tar & netcat, mas a matriz RAID da qual estou migrando tem estado muito instável ultimamente e preciso ser capaz de recuperar e retomar se ela cair no meio do processo. Eu deveria estar olhandosincronizar novamente?

Analisando isso um pouco mais, acho que o rsync pode ser muito lento e gostaria de evitar que isso demore 30diasou mais. Então agora estou procurando sugestões sobre como monitorar/retomar a transferência comnetcat.

Responder1

sim, rsync

fora do excêntrico, os recursos assíncronos que o DRBD lançou recentemente.

Responder2

Nunca subestime a largura de banda de uma perua cheia de fitas. 10 TB seriam viáveis ​​com equipamentos NAS de consumo relativamente baratos se você pudesse dividi-los em pedaços (digamos 2 TB). Se for único, um processo semimanual pode ser viável, e um NAS de 2 TB custa apenas algumas centenas de dólares.

Se precisar de um processo contínuo, você poderá configurar o RSYNC depois de fazer a transferência inicial.

Responder3

Tive que fazer esse tipo de tarefa há alguns meses. Usei o rsync paralelo para acelerar o processo. Ele divide os arquivos a serem transferidos/sincronizados em partes e pode ser retomado a qualquer momento. Veja o link abaixo para script rsync paralelo.

https://gist.github.com/rcoup/5358786

Responder4

Você pode tentar configurar um servidor FTP no servidor com os dados a serem copiados e usar um cliente FTP com "currículo" no destinatário. Eu uso o servidor e cliente Filezilla e uso o recurso "currículo" do cliente com bastante frequência e sempre funcionou sem problemas.

informação relacionada