現在、440,000 行以上を表示するために、matplotlib で Python を使用しています.csv
が、11 sec
1 列しか表示できません。私の場合.csv
は常に同じ形式です。もっと速く解析する方法はありますか? すべての列をリストに保存してから表示することを選択しました。
私が作成したコードは次のとおりです:
csv_path = "C:/Users/mydata.csv"
csv_database = open(csv_path, delimiters=";")
data_dict = csv.DictReader(csv_database, delimiter=";")
current_row = 0
number_list = []
for row in data_dict:
current_row += 1 # Skip heading row
if current_row == 1:
continue
# Here I add to a list of strings already created
name_list.append(row["Name"]) # Assuming the header of the column is "Name"
# Here I add to a list of integer
if row['Number'] == 'NULL':
int_list.append(0)
elif row['Number'] != " ":
int_list.append(int(row['Number'])) # Assuming the header is "Number"
else:
int_list.append(0)
答え1
私には問題なさそうです。これは小規模な CSV (数千行未満) には有効です。
巨大な CSV ファイル (10 万行以上) を解析する必要がある場合、ネイティブ モジュールよりもはるかに優れたパフォーマンスを発揮する Cassava モジュールを使用しました。
を見てみましょうhttp://hackage.haskell.org/package/cassava
お役に立てれば