사용자가 파일을 저장하는 서버를 호스팅하고 있으며 하루가 끝나면 이러한 모든 파일이 저장 서버로 검색된다고 가정해 보겠습니다.
문제는 이러한 파일 중 상당수가 중복되므로 동일한 파일을 10번 복사할 필요가 없다는 것입니다.
각 파일이 고유한지 확인하기 위해 전송되는 각 파일에 대한 해시를 얻는 것에 대해 생각하고 있었지만 더 나은 솔루션이 있을 수도 있습니다.
답변1
한 가지 옵션은 이를 2개의 작업으로 분리하는 것입니다.
먼저, 소스 머신에서 중복 파일을 찾고, 중복 파일이 표시되지만 디스크 공간을 소비하지 않도록 심볼릭 링크, 바로가기 또는 유사한 항목을 만듭니다. 중복 항목을 찾는 데 매우 효과적인 옵션 중 하나는 다음과 같습니다.잘 조정된 Python 스크립트그래서. 사용 사례에 맞게 수정해야 할 수도 있습니다.
물론 두 번째 단계는 심볼릭 링크나 바로가기 링크를 유지하는 방식으로 파일을 다른 시스템에 복사하는 것입니다.