Tengo que procesar entre 10 y 100 millones de registros.
Tengo que darle los datos al cliente cuando esté terminado. Los datos se proporcionan como solicitudes SQL para ejecutar en la base de datos. Tiene un servidor potente con MySQL, creo que será lo suficientemente rápido.
El problema es que mi computadora no es tan poderosa como su servidor, por lo que me gustaría usar otro servidor SQL que sea compatible (exporto su base de datos y la importo en mi computadora) con MySQL pero más potente.
¿Qué debo usar? ¿O estoy condenado a utilizar MySQL?
Respuesta1
Creo que es una mala idea usar MySQL para bases de datos grandes, mejor usar PostgreSQL. Si la base de datos para MySQL supera unos pocos GB, es posible que ya tenga problemas, mientras que con PostgreSQL no debería haber problemas para tener bases de datos de tal volumen.
Un simple volcado de base de datos a veces muestra la diferencia, por ejemplo, hace algún tiempo tuve que volcar una base de datos de 6 GB en MySQL y tuve grandes problemas al hacerlo ya que falló un par de veces. Mientras que para postgreSQL no tuve problemas para descargar una base de datos de 130 GB. Lo mismo ocurre con la realización de consultas, etc.
Respuesta2
Si su cliente necesita usar MySQL, entonces eso es lo que le espera.
Obviamente, funcionará más lento en su computadora que en el servidor, pero eso no suele ser gran cosa. Si necesita más capacidad de forma temporal, siempre puede alquilar una instancia de Amazon EC2 por unas horas o lo que sea.