分割一個大的 csv 文件

分割一個大的 csv 文件

我有一個game_data.csv超過一百萬行的檔案(大小為 70MB)。我正在編寫一個應用程序,它將對 CSV 進行一些處理並將 CSV 資料寫入資料庫。

在開發應用程式時,我想要一個較小的 CSV 來工作,我可以運行什麼 Linux 命令來獲取 CSV 的前 1500 行並將其放入單獨的 CSV 檔案中subset_game_data.csv

我使用的是 Manjaro Linux(如果有的話)。

答案1

如果資料不包含換行符,則可以使用 輕鬆完成此操作head -n 1500 game_data.csv > subset_game_data.csv

如果數據包含換行符,您需要正確解析它。使用任何工具,如 Libreoffice Calc 或 python 腳本。csvkit可以用類似的東西來解決這個問題

csvsql --query "select * from data limit 1500" game_data.csv > subset_game_data.csv

相關內容