원격 파일 복사 유틸리티(예: rsync)는 이미 복사된 데이터(이 세션에서)를 고려합니까?

Question

2개의 파일이 있는 디렉토리가 있다고 가정해 보겠습니다. 둘 다 동일하고 상당히 큽니다(예: 2GB). 해당 디렉토리를 원격 호스트에 재동기화하고 싶습니다. 내가 이해한 대로(틀릴 수도 있음) rsync는 파일의 체크섬을 계산합니다. 확실히 동일한 체크섬을 가진 2개의 파일이 있으면 첫 번째 파일을 복사한 다음 두 번째 파일에 대해 원격 호스트에서 로컬 복사본을 수행할 수 있습니까? 그러면 더 빨라지겠죠?

비슷한 메모에서 rsync는 복사하기 전에 모든 원격 파일을 해시하지 않습니까? 전송하려는 파일과 동일한 해시를 가진 다른 파일을 발견하면 원격 호스트에서 로컬 복사본을 수행할 수 있습니다.

rsync는 이런 종류의 기능을 지원합니까? 켜는 방법이 있나요? 이러한 종류의 '해시 기반' 로컬 복사를 수행하는 rsync와 유사한 도구가 있습니까?

Answer 1

비슷한 메모에서 rsync는 복사하기 전에 모든 원격 파일을 해시하지 않습니까? 전송하려는 파일과 동일한 해시를 가진 다른 파일을 발견하면 원격 호스트에서 로컬 복사본을 수행할 수 있습니다.

아니, 하지만조화하다.

Answer 2

현재 단일 소프트웨어 패키지로 이를 수행할 수 있는 제품이 없다고 생각합니다. 이 작업을 수행하고 여전히 RSYNC를 실행하는 WAN 최적화 프로그램이 있습니다.

당신이 찾고 있는 것은 중복 제거/중복 제거 프로세스입니다. 이상적으로는 실제로 중복 제거를 원하지 않고 로컬에서 중복 제거를 수행한 다음 RSYNC를 수행하는 것이 좋습니다. 이렇게 하면 반대편의 파일을 확장하는 대신 링크만 복사할 수 있습니다.

Answer 3

두 파일이 실제로 동일한 경우 파일 중 하나를 rsync한 다음 rsync 프로세스 외부의 원격 측에서 별도로 로컬 복사본을 만들어야 합니다.

두 개의 동일한 파일이 있는 경우 rsync는 두 파일을 모두 복사하려고 시도합니다. 체크섬이 아닌 파일 이름이 가장 중요한 식별자입니다. (방금 노트북에서 테스트해봤습니다!)

당신이 언급한 작업 중 일부를 수행하기 위해 rsync를 래핑하는 것이 흥미로울 것입니다...

읽어볼 가치가 있는 내용은 다음과 같습니다.

http://en.wikipedia.org/wiki/Rsync

http://samba.anu.edu.au/rsync/tech_report/

Answer 4

--fuzzy 옵션~할 것 같다당신이 찾고 있는 것을 하세요:

매뉴얼 페이지에서:

-y, --fuzzy
이 옵션은 rsync에게 누락된 대상 파일에 대한 기본 파일을 찾아야 함을 지시합니다. 현재 알고리즘은 크기와 수정 시간이 동일한 파일 또는 비슷한 이름의 파일을 대상 파일과 동일한 디렉터리에서 찾습니다. 발견되면 rsync는 퍼지 기반 파일을 사용하여 전송 속도를 높이려고 합니다.

그렇지 않은 경우 관련 프로그래밍 기술이 있는 사람이 귀하가 설명하는 대로 동작하도록 옵션을 조정할 수 있어야 합니다. 하지만 이는 아마도 귀하가 참여하고 싶지 않을 것입니다!