大きなcsvファイルを分割する

大きなcsvファイルを分割する

100 万行を超えるファイル (サイズ 70 MB)がありますgame_data.csv。CSV を処理して CSV データをデータベースに書き込むアプリを作成しています。

アプリを開発している間、より小さな CSV を使いたいのですが、CSV の最初の 1500 行を取得して別の CSV ファイルに格納する Linux コマンドはどれを実行すればよいでしょうかsubset_game_data.csv?

私は Manjaro Linux を使用しています (それが問題になる場合)。

答え1

データに改行が含まれていない場合は、 で簡単に実行できますhead -n 1500 game_data.csv > subset_game_data.csv

データがする改行が含まれている場合は、適切に解析する必要があります。Libreoffice Calc や Python スクリプトなどのツールを使用します。csvキット次のようなものでうまくいく

csvsql --query "select * from data limit 1500" game_data.csv > subset_game_data.csv

関連情報