파일 시스템에서 postgres로 데이터를 로드하고 있습니다. 5억 개의 단일 파일이 있고 각 파일에는 1개의 json이 있습니다. Postgres를 보다 효율적으로 사용하기 위해 단일 파일이 아닌 배치로 로드하고 싶습니다. 지금은 다음 루프가 있습니다.
time for i in datafiles/*; do psql -c "\copy json_parts(json_data) FROM $i"& done
여기에 "일괄 기능"을 추가하는 데 도움을 주시겠습니까? 나는 bash에 능숙하지 않습니다. 한 번에 40개의 파일만 취하고 그 사이에 구분 기호를 추가하여 postgres가 해당 행이 별도의 행임을 알 수 있도록 하는 일종의 외부 루프가 필요하다고 가정합니다. 나는 놀고 있어요
ls|head -$j| tail -40
외부 루프로 사용되지만 말했듯이 나는 능숙하지 않습니다 ...