Я загружаю данные из файловой системы в postgres. У меня 500 миллионов отдельных файлов, по 1 json в каждом файле. Чтобы повысить эффективность работы с postgres, я хочу загружать их партиями, а не отдельными файлами. Сейчас у меня такой цикл:
time for i in datafiles/*; do psql -c "\copy json_parts(json_data) FROM $i"& done
Не могли бы вы мне помочь с добавлением "пакетных возможностей"? Я не разбираюсь в bash. Полагаю, нужен какой-то внешний цикл, который принимает только, скажем, 40 файлов за раз, а затем добавляет разделитель между ними, чтобы postgres знал, что это отдельные строки? Я играю с
ls|head -$j| tail -40
как внешний цикл, но, как уже говорилось, я не опытный...