У меня есть несколько терабайт данных в нашей устаревшей системе, которая работает на SQL-сервере. Наша новая версия работает на MongoDB. Мы переносим эти данные в MongoDB. У нас есть написанные и проверенные скрипты Python, все перемещение данных происходит правильно.
мы сделали это на слабой машине с 4 ядрами, если мы сделаем это на более мощной машине, это будет очень дорого. AWS Lambda имеет 15 минут времени обработки, это занимает более 24 часов для завершения одной итерации. AWS step functions обещает это, но не уверен, что это правильно.
решение1
Разве нельзя выполнить «mongoexport» локально, экспортировать в S3 (или физическое устройство AWS Snowcone), использовать экземпляр EC2 для «mongoimport», а затем запустить свой скрипт для внесения любых обновлений с момента дампа?
Что касается того, как запустить его, вам, вероятно, удастся использовать точечный экземпляр EC2, особенно если вы используете его вне пиковых часов для региона - возможно, в выходные. Если ваша работа не может быть прервана, то EC2 по требованию. M5.xlarge с 4 ядрами / 16 ГБ ОЗУ стоит $0,20 в час, пара дней - $10.
Я также укажу, что, скажем, 3 ТБ при 100 Мбит/с отправка займет 2,6 дня, а при 800 Мбит/с — 7 часов, но поддерживать такую пропускную способность может быть сложно без DirectConnect. Возможно, вам лучше использоватьAWS Снежный конусЭто физическое устройство, на которое вы копируете данные, а затем отправляете их в AWS.
Я бы рекомендовал использовать AWS Database Migration Service длямигрироватьиз MongoDB вAWS DocumentDB, что является их версией MongoDB с другим названием. DMS перенесет данные, затем вы просто указываете своему приложению новый экземпляр и отключаете старый.