SQL Server를 실행하는 레거시 시스템에 몇 테라바이트의 데이터가 있습니다. 최신 버전은 MongoDB에서 실행됩니다. 우리는 이 데이터를 MongoDB로 마이그레이션하고 있습니다. 우리는 Python 스크립트를 작성하고 확인했으며 모든 데이터 이동이 올바르게 발생합니다.
우리는 4개의 코어가 있는 더 낮은 시스템에서 이 작업을 수행했습니다. 더 큰 시스템에서 수행하면 매우 비쌀 것입니다. AWS Lambda의 처리 시간은 15분이며, 한 번의 반복이 완료되는 데 24시간 이상이 걸립니다. AWS 단계 함수는 이를 약속하지만 그것이 올바른 것인지는 확실하지 않습니다.
답변1
로컬에서 "mongoexport"를 수행하고 S3(또는 물리적 AWS Snowcone 장치)로 내보내고 EC2 인스턴스를 사용하여 "mongoimport"를 수행한 다음 스크립트를 실행하여 덤프 이후 업데이트를 수행할 수 없습니까?
실행 방법에 관해서는 스팟 EC2 인스턴스를 사용하지 않아도 될 것입니다. 특히 해당 지역의 피크 시간대(아마도 주말) 외에 사용하는 경우에는 더욱 그렇습니다. 작업을 중단할 수 없다면 온디맨드 EC2를 사용하세요. 4개 코어/16GB RAM을 갖춘 m5.xlarge는 시간당 $0.20이며, 며칠 동안은 $10입니다.
또한 100Mbps의 3TB는 전송하는 데 2.6일이 걸리지만 800Mbps의 경우 7시간이 걸리지만 DirectConnect 없이는 해당 대역폭을 유지하는 것이 어려울 수 있다는 점도 지적하겠습니다. 다음을 사용하는 것이 가장 좋습니다.AWS 스노우콘이는 데이터를 복사한 후 AWS로 배송하는 물리적 장치입니다.
AWS Database Migration Service를 사용하여 다음을 수행하는 것이 좋습니다.이주하다몽고DB에서AWS 문서DB, 이는 다른 이름을 가진 MongoDB 버전입니다. DMS가 데이터를 마이그레이션한 다음 애플리케이션을 새 인스턴스로 지정하고 이전 인스턴스를 끄면 됩니다.