Eu tenho que processar de 10 a 100 milhões de registros.
Tenho que passar os dados ao cliente quando terminar. Os dados são fornecidos como solicitações SQL para execução no banco de dados. Ele tem um servidor poderoso com MySQL, acho que será rápido o suficiente.
O problema é que meu computador não é tão poderoso quanto o servidor dele, então gostaria de usar outro servidor SQL que seja compatível (exporto o banco de dados dele e importo no meu computador) com MySQL, mas mais poderoso.
O que devo usar? Ou estou condenado a usar MySQL?
Responder1
Acho uma má ideia usar o MySQL para grandes bancos de dados, é melhor usar o PostgreSQL. Se o banco de dados do MySQL ultrapassar alguns GB, você já poderá ter problemas, enquanto com o PostgreSQL não deverá haver problemas em ter bancos de dados desse volume.
Um simples despejo de banco de dados às vezes mostra a diferença, por exemplo, tive que descarregar há algum tempo um banco de dados de 6 GB no MySQL e tive grandes problemas ao fazer isso, pois ele falhou algumas vezes. Enquanto no postgreSQL não tive problemas ao despejar um banco de dados de 130 GB. O mesmo vale para realizar consultas, etc.
Responder2
Se o seu cliente precisa usar o MySQL, é com isso que você está preso.
Obviamente, ele será executado mais lentamente no seu computador do que no servidor, mas isso geralmente não é grande coisa. Se precisar de mais capacidade temporariamente, você sempre pode alugar uma instância do Amazon EC2 por algumas horas ou o que for.