Я занимался программированием, которое включало запись данных в большой CSV-файл (700 МБ). Я время от времени открывал файл с помощью libre office, чтобы проверить поступающие данные.
Сегодня утром я открыл файл (пока в него велась запись) и скопировал некоторые данные в другой пустой CSV-файл, чтобы написать скрипт для правильного чтения данных из него и быть готовым к моменту, когда будет готов большой CSV-файл.
Однако после того, как я скопировал строку примера, я закрыл большой файл и снова открыл его через несколько минут, и теперь мои данные выглядят в предварительном просмотре следующим образом:
Что впечатляет, так как в моих данных вообще нет китайских или японских символов. Открытие файла в libre office calc выдает мне сообщение "слишком много символов в ячейке", зависание, а затем libre office вылетает.
Если я посмотрю на файл в bash, он будет выглядеть так:
Правильные слова отображаются и все. Если я читаю файл с помощью скрипта python или открываю как текстовый файл, он также отображает строки правильно. Что это за странная ошибка?
решение1
Ладно, я глупо себя повел, набор символов был изменен на юникод, а я этого не заметил.
Дой.