Synology DSM 4.3의 기본 rsync 구현이 "방대한" 양의 데이터를 처리할 수 없고 버전 관리/중복 제거를 망칠 수 있다는 것이 사실입니까? 변수 중 하나가 될 수 있습니까(참조:자세한 정보아래) 이것을 훨씬 더 어렵게 만들 수 있습니까?
편집: 위의 주장이 터무니없거나 사실일 수 있는 경우 답변 외에는 아무것도 찾고 있지 않습니다.
자세한 정보:
직장에서는 사무실에서 Synology NAS를 실행하고 있습니다. 이 NAS는 몇몇 디자이너가 직접 작업하는 곳에서 사용됩니다. 그들은 고해상도 스톡 사진, 대형 PSD, PDF 등으로 구성된 프로젝트를 실행하고 있습니다. 우리는 대략적인 폴더를 가지고 있습니다. 현재 실행 중인 프로젝트로만 구성된 430GB 크기입니다. 이 폴더는 인터넷 연결을 통해 매주 데이터 센터에 백업되기로 되어 있습니다.
모든 IT는 제3자에 의해 처리되고 있으며, 이는 DSM(4.3) rsync의 기본 구현이 방대한 양의 데이터를 처리할 수 없는 특정 크기("100GB+")를 백업이 형성하기 시작했다고 주장합니다. 온라인 백업(데이터 센터의 머신 중 하나) 그들은 rsync가 "버전 관리/중복 제거"(보존: 30일)에 문제가 있고 문제가 발생하기 때문에 백업이 약 10TB의 데이터로 구성되어 있다고 말합니다.
이 때문에 그들은 온라인 백업에 대한 GB당 비용을 크게 높이는 "전문 온라인 백업 서비스"를 사용할 것을 제안합니다.
답변1
그 자체로 Rsync큰 파일 크기에도 질식하지 않습니다.또는 "너무 많은" 파일. 상황에 따라 매주 rsync 작업을 완료하는 데 1주 이상이 걸릴 수 있지만 그럴 가능성은 낮습니다. 이로 인해 이전 rsync 작업이 완료되기 전에 새 rsync 작업이 시작될 수 있습니다.
많은 양의 작은 파일을 전송하는 것은 다른 모든 조건이 동일한 몇 개의 매우 큰 파일을 전송하는 것보다 훨씬 더 많은 시간이 걸린다는 것이 IT 사람들 사이의 상식입니다.양데이터 등... 이것 좀 보세요("수백만 개의 이미지 전송") 및 Stack Overflow에 대한 예시 토론은 다음과 같습니다("여러 개의 작은 파일을 전송하는 것과 몇 개의 큰 파일을 전송하는 것 중 어느 것이 더 빠르며 그 이유는 무엇입니까?")는 여기 Serverfault에 대한 토론의 예입니다.
따라서 문제는 rsync를 실행하기 전에 파일/폴더를 압축한 다음 압축된 파일을 오프사이트 데이터 센터에 복사해야 한다는 것일 수 있습니다. 그렇게 하면 오프사이트 데이터 저장 비용을 절약할 수 있지만 또 다른 웜이 생길 수 있습니다.
물론 첫 번째 단계는 rsync 작업을 실행하는 데 걸리는 시간을 파악하는 것입니다. 그런 다음 미리 데이터를 압축하거나 대체 백업 솔루션으로 이동하여 백업 방법을 변경해야 하는지 파악하십시오.
그런데, 이 게시물을 기준으로 Synology DSM 5.1이 최신 버전이고, 5.2가 베타 버전입니다. 아직 업데이트하지 않은 경우 DSM 5.1로 업데이트해야 합니다. 이것은 확실히 당신의 상황을 해치지 않을 것입니다.