Eu estava fazendo um trabalho de programação que envolvia gravar dados em um arquivo CSV grande (700 MB). Ocasionalmente, abri o arquivo usando o libre office para verificar os dados recebidos.
Esta manhã eu abri o arquivo (enquanto ele estava sendo gravado) e copiei alguns dados para outro arquivo CSV vazio para que eu possa escrever um script para ler os dados dele corretamente, para que eu possa estar pronto para quando o arquivo CSV grande estiver pronto .
No entanto, depois de copiar uma linha de exemplo, fechei o arquivo grande e o reabri alguns minutos depois e agora meus dados ficam assim na visualização:
O que é impressionante, pois não tenho nenhum caractere chinês ou japonês em meus dados. Abrir o arquivo no libre office calc me dá uma mensagem "muitos caracteres na célula", travando e depois o libre office trava.
Se eu olhar o arquivo no bash, ficará assim:
Palavras corretas mostrando e tudo mais. Se eu ler o arquivo usando um script python ou abrir como um arquivo de texto, ele também mostrará as linhas corretamente. O que é esse erro estranho?
Responder1
OK, eu estava sendo bobo, o conjunto de caracteres foi alterado para Unicode e eu não percebi.
Sim.