나는 다음을 실행해야 한다재동기화(복사 또는 이동뿐만 아니라) s3의 모든 버킷에서 Google Cloud로. Google에 s3의 동일한 인프라를 만들어야 합니다. s3에 2Tera가 있는데, 매일 새 파일을 받습니다..
오늘 내 해결책은
gsutil rsync -r -m s3://bucket gs://bucket
하지만 이 솔루션은 속도가 느립니다.
더 빠르게 할 생각이 있나요?
감사해요.
답변1
클라우드 간에 대량의 데이터를 동기화하는 경우 Google Compute Engine 계정을 설정하고 거기서 gsutil을 실행하는 것을 고려할 수 있습니다. 공급업체 간 gsutil 데이터 전송은 gsutil이 실행되는 머신을 통해 흐르므로 이렇게 하면 로컬 워크스테이션에서 gsutil을 실행하는 것보다 전송 속도가 훨씬 빨라질 수 있습니다.
참조:https://cloud.google.com/storage/docs/gsutil/commands/rsync
답변2
이 질문에 대한 최신 답변은 다음을 사용하는 것입니다.Google 전송 서비스:
저장소 이전 서비스란 무엇입니까?
Storage Transfer Service는 온라인 데이터 소스에서 데이터 싱크로 데이터를 전송합니다. 데이터 소스는 Amazon Simple Storage Service(Amazon S3) 버킷, HTTP/HTTPS 위치 또는 Cloud Storage 버킷일 수 있습니다. 데이터 싱크(대상)는 항상 Cloud Storage 버킷입니다.