У меня есть game_data.csvфайл с более чем миллионом строк (размером 70 МБ). Я пишу приложение, которое будет выполнять некоторую обработку CSV и записывать данные CSV в базу данных.
Пока я разрабатываю приложение, мне нужен CSV-файл меньшего размера. Какую команду Linux я могу выполнить, чтобы извлечь первые 1500 строк CSV-файла и поместить их в отдельный CSV-файл subset_game_data.csv?
Я использую Manjaro Linux (если это имеет значение).
решение1
Если данные не содержат символов новой строки, это легко сделать с помощью head -n 1500 game_data.csv > subset_game_data.csv.
Если данныеделаетсодержат новые строки, вам нужно правильно их проанализировать. Используйте любой инструмент, например Libreoffice Calc или скрипт на Python.csvkitможно сделать трюк с чем-то вроде
csvsql --query "select * from data limit 1500" game_data.csv > subset_game_data.csv