☰

ファイルの間違ったエンコードを修正/元に戻す

tag-icon • tag-icon linux encoding
ファイルの間違ったエンコードを修正/元に戻す

顧客から定期的に送られてくる ISO-8859 でエンコードされたテキスト ファイルにはデバッグ情報が含まれています。
最近、それらのファイルは ASCII エンコードで受信箱に届き始め、その結果、ファイルにいくつかの余分な文字が含まれ、これらのファイル用に作成したパーサーが壊れるようになりました。原因を
絞り込むと、顧客が使用している電子メール クライアントがエンコードを変更することが原因であることがわかりました。

この誤ったエンコーディングの変更を元に戻すことは可能ですか?
私は Linux を使用しているため、Linux 向けのソリューションを希望しますが、他の OS 向けのソリューションにも興味があります。

参考および情報として、出力をいくつか示します。

$ file /tmp/{wrong,right}_enc.txt
/tmp/wrong_enc.txt: ASCII text
/tmp/right_enc.txt: ISO-8859 text, with very long lines, with CRLF line terminators

$ file -bi /tmp/{wrong,right}_enc.txt
text/plain; charset=us-ascii
text/plain; charset=iso-8859-1

コンテンツ例（情報が異なる、構造が異なる）すべき同じですが、wrong_enc.txt には '=' の後ろと EOL に追加の文字があります (例):

$ head /tmp/{wrong,right}_enc.txt
==> /tmp/wrong_enc.txt <==
Tue Jun 11 15:51:54 2019=0D
=0D
=0D
###Eth-eth0-driver =3D igb=0D
###Eth-eth0-ipaddr =3D 192.168.99.100=0D
###Eth-eth0-link =3D yes=0D
###Eth-eth1-driver =3D e1000e=0D
###Eth-eth1-ipaddr =3D =0D
###Eth-eth1-link =3D no=0D

==> /tmp/right_enc.txt <==
Wed Apr 17 16:47:21 2019


###Eth-eth0-driver = e1000e
###Eth-eth0-ipaddr = 192.168.178.35
###Eth-eth0-link = yes
###Eth-ethnames = eth0
###Eth-ethtool-eth0 =

答え1

表示されているエンコードは引用印刷可能これは、「生の」電子メール ソース テキストを表示している場合にはまったく正常です。ほとんどの非 ASCII メッセージとテキスト添付ファイル、さらには一部の純粋な ASCII メッセージと添付ファイルは、QP (または Base64) を使用してエンコードされています。

送信メールクライアントがコンテンツ転送エンコーディングヘッダーが正しくない場合、受信メール クライアントは自動的に QP を通常のテキストにデコードします。(MIME ヘッダーが正しいのにメール クライアントがこのデコードを実行しない場合は、顧客のメール クライアントではなく、ユーザーのメール クライアントが壊れていることになります。)

自分でデコードを実行する必要がある場合は、さまざまなライブラリがあります。

ruby -e 'print STDIN.read.unpack("M")[0]' < wrong.txt > fixed.txt

perl -0777 -ne 'use MIME::QuotedPrint; print decode_qp($_)' < wrong.txt > fixed.txt

あなたがすべき既存のモジュールを使用すると、QP を直接デコードするのは比較的簡単です。

perl -0777 -pe 's/=\n//gs; s/=([0-9A-F]{2})/pack("C", hex($1))/gse' < wrong.txt > fixed.txt
  1. =改行が続く部分は削除されます（行は結合されます）。
  2. =2 桁の 16 進数が対応するバイトに置き換えられます。

関連情報