Linux에서 Linux로, 10TB 전송?

Linux에서 Linux로, 10TB 전송?

이전에 비슷한 질문을 다 봤는데 답이 여기저기 있는 것 같았고 아무도 움직이지 않는 것 같았어요많은데이터 용량(100GB는 10TB와 다릅니다).

한 RAID 어레이에서 다른 RAID 어레이로 이동하는 데 필요한 약 10TB의 기가비트 이더넷, 무료 백과사전,XFS파일 시스템. 가장 큰 걱정은 이적이 중간에 종료되어 쉽게 재개할 수 없다는 것입니다. 속도도 좋지만 전송을 보장하는 것이 훨씬 더 중요합니다.

일반적으로 저는 tar와 netcat만 사용하지만 이동 중인 RAID 어레이는 최근 들어 매우 불안정해져서 프로세스 도중에 중단되면 복구하고 재개할 수 있어야 합니다. 보고 있어야 하나?재동기화?

이것을 좀 더 살펴보면 rsync가 너무 느릴 수 있다고 생각하며 30이 걸리는 것을 피하고 싶습니다.이상. 이제 전송을 모니터링/재개하는 방법에 대한 제안을 찾고 있습니다.넷캣.

답변1

응, 재동기화야

이상하게도 DRBD의 비동기 기능이 최근에 출시되었습니다.

답변2

테이프로 가득 찬 스테이션 왜건의 대역폭을 과소평가하지 마십시오. 10TB는 2TB 청크로 나눌 수 있다면 비교적 저렴한 소비자급 NAS 장비로 실현 가능합니다. 이것이 일회성인 경우 반수동 프로세스가 실행 가능할 수 있으며 2TB NAS의 비용은 수백 달러에 불과합니다.

지속적인 프로세스가 필요한 경우 초기 전송을 완료한 후 RSYNC를 설정할 수 있습니다.

답변3

나는 몇 달 전에 이런 종류의 작업을 수행해야 했습니다. 프로세스 속도를 높이기 위해 병렬 rsync를 사용했습니다. 전송/동기화할 파일을 청크로 분할하고, 언제든지 재개할 수 있습니다. 병렬 rsync 스크립트는 아래 링크를 참조하세요.

https://gist.github.com/rcoup/5358786

답변4

복사할 데이터가 있는 서버에 FTP 서버를 설정하고 수신 측에서 "재개"가 있는 FTP 클라이언트를 사용해 볼 수 있습니다. 저는 Filezilla 서버와 클라이언트를 사용하고 클라이언트의 "재개" 기능을 자주 사용하는데, 항상 문제 없이 작동했습니다.

관련 정보