eine große CSV-Datei aufteilen

eine große CSV-Datei aufteilen

Ich habe eine game_data.csvDatei mit über einer Million Zeilen (70 MB groß). Ich schreibe eine App, die die CSV-Datei verarbeitet und die CSV-Daten in eine Datenbank schreibt.

Während ich die App entwickle, hätte ich gerne eine kleinere CSV-Datei zum Arbeiten. Welchen Linux-Befehl kann ich ausführen, mit dem ich die ersten 1500 Zeilen der CSV-Datei abrufen und in eine separate CSV-Datei einfügen kann subset_game_data.csv?

Ich verwende Manjaro Linux (falls das wichtig ist).

Antwort1

Wenn die Daten keine Zeilenumbrüche enthalten, ist dies ganz einfach mit erledigt head -n 1500 game_data.csv > subset_game_data.csv.

Wenn die DatentutZeilenumbrüche enthalten, müssen Sie sie richtig analysieren. Verwenden Sie ein beliebiges Tool wie Libreoffice Calc oder ein Python-Skript.csvkitkann den Trick machen mit so etwas wie

csvsql --query "select * from data limit 1500" game_data.csv > subset_game_data.csv

verwandte Informationen