큰 csv 파일 분할

큰 csv 파일 분할

game_data.csv백만 개가 넘는 행(70MB 크기)이 있는 파일이 있습니다 . CSV에서 일부 처리를 수행하고 CSV 데이터를 데이터베이스에 쓰는 앱을 작성 중입니다.

앱을 개발하는 동안 작업할 수 있는 더 작은 CSV를 원합니다. CSV의 처음 1500개 행을 가져와 별도의 CSV 파일에 저장하려면 어떤 Linux 명령을 실행할 수 있습니까 subset_game_data.csv?

저는 Manjaro Linux를 사용하고 있습니다(중요한 경우).

답변1

데이터에 개행 문자가 포함되어 있지 않으면 head -n 1500 game_data.csv > subset_game_data.csv.

데이터의 경우하다개행 문자가 포함되어 있으면 올바르게 구문 분석해야 합니다. Libreoffice Calc 또는 Python 스크립트와 같은 도구를 사용하십시오.csvkit다음과 같은 트릭을 수행 할 수 있습니다

csvsql --query "select * from data limit 1500" game_data.csv > subset_game_data.csv

관련 정보