Мне приходится обрабатывать около 10–100 миллионов записей.
Я должен предоставить данные клиенту, когда он будет готов. Данные передаются в виде SQL-запросов для выполнения в базе данных. У него мощный сервер с MySQL, я думаю, что это будет достаточно быстро.
Проблема в том, что мой компьютер не такой мощный, как его сервер, поэтому я хотел бы использовать другой SQL-сервер, совместимый (я экспортирую его базу данных и импортирую ее на свой компьютер) с MySQL, но более мощный.
Что мне использовать? Или я обречен использовать MySQL?
решение1
Я думаю, что это плохая идея использовать MySQL для больших баз данных, лучше использовать PostgreSQL. Если база данных для MySQL превысит несколько ГБ, то у вас уже могут возникнуть проблемы, в то время как с PostgreSQL не должно быть никаких проблем при наличии баз данных такого объема.
Простой дамп базы данных иногда показывает разницу, например, некоторое время назад мне пришлось дампить базу данных размером 6 ГБ в MySQL, и у меня были большие проблемы, так как она несколько раз не срабатывала. В то время как для postgreSQL у меня не было проблем с дампом базы данных размером 130 ГБ. То же самое касается выполнения запросов и т. д.
решение2
Если вашему клиенту необходимо использовать MySQL, то вам придется с этим смириться.
Очевидно, что на вашем компьютере он будет работать медленнее, чем на сервере, но обычно это не имеет большого значения. Если вам нужна большая емкость на временной основе, вы всегда можете арендовать экземпляр Amazon EC2 на несколько часов или сколько угодно.