Tengo algunos terabytes de datos en nuestro sistema heredado que ejecuta el servidor SQL. Nuestra versión más nueva se ejecuta en MongoDB. Estamos migrando estos datos a MongoDB. Tenemos scripts de Python escritos y verificados, todo el movimiento de datos se produce correctamente.
Hicimos esto en una máquina inferior con 4 núcleos, si lo hacemos en una máquina más grande, será muy costoso. AWS Lambda tiene un tiempo de procesamiento de 15 minutos; una iteración tarda más de 24 horas en finalizar. Las funciones escalonadas de AWS lo prometen, pero no estoy seguro de si son las correctas.
Respuesta1
¿No puede hacer "mongoexport" localmente, exportar a S3 (o un dispositivo físico AWS Snowcone), usar una instancia EC2 para "mongoimport" y luego ejecutar su script para realizar actualizaciones desde el volcado?
En cuanto a cómo ejecutarlo, probablemente podría usar una instancia EC2 puntual, especialmente si la usa fuera de las horas pico de la región, tal vez un fin de semana. Si su trabajo no se puede interrumpir, entonces EC2 bajo demanda. Un m5.xlarge con 4 núcleos / 16 GB de RAM cuesta $ 0,20 por hora, un par de días cuesta $ 10.
También señalaré que, digamos, 3 TB a 100 Mbps tardarán 2,6 días en enviarse, pero a 800 Mbps tardarán 7 horas, pero mantener ese ancho de banda puede ser difícil sin DirectConnect. Quizás sea mejor que utilices unCono de nieve de AWSque es un dispositivo físico en el que se copian los datos y luego se envían a AWS.
Sugeriría utilizar AWS Database Migration Service paraemigrarde MongoDB aAWS DocumentDB, que es su versión de MongoDB con un nombre diferente. DMS migrará los datos, luego simplemente apunte su aplicación a la nueva instancia y apague la anterior.