우리는 애플리케이션 코드의 일부가 아닌 데이터인 데이터 파일(.wav 파일, 이미지 파일 등) 세트가 점점 늘어나고 있으며 사용자가 업로드하고 수정합니다. 파일 수는 1000개이며 총 크기는 GB에 이릅니다.
우리는 전 세계(미국, EU, ME)의 다양한 위치에 여러 서버 클러스터를 보유하고 있습니다. 각 클러스터에서는 데이터가 S3가 아닌 로컬로 제공되는 것이 중요합니다(데이터 파일은 클라이언트에 직접 제공되지 않지만 서버에서 처리됨). 우리는 NFS를 통해 동일한 클러스터의 다른 노드에 파일을 제공할 각 위치에 파일 서버를 지정하려고 합니다.
따라서 결론은 다음과 같습니다.
- 애플리케이션을 통해 업로드된 파일은
S3. - 각 파일 서버 노드는 해당 파일을 복제해야 합니다.
몇 가지 옵션이 있습니다.
- 백업/버전 관리를 위해 복제하고 (또는 유사한 방법을 통해) 노드에
origin복제하는 파일 서버를 사용합니다 .S3rsync - 위와 동일하지만 슬레이브는
S3S3 도구 또는 유사한 도구를 사용하여 복제합니다. - - 앱 코드를 사용하지 않으면
origin에 직접 업로드되고S3슬레이브는 위와 같이 복제됩니다.
어떤 것이 권장되는 솔루션인지, 복제 부분(예: 파일 시스템-파일 시스템 범주 및 파일 시스템/S3 범주)에 어떤 도구를 사용할 수 있는지 궁금했습니다.