GNU/Linux ツールを使用してこの文字列を日本語に変換するにはどうすればよいでしょうか?

Question

パイプはバイトバッファで動作するOSの機能であり、その内容を解釈することはありません。そのため、パイプされたテキストはbashに渡されず、特に'readline' を経由することはありません。コマンドライン引数として貼り付けられたテキストは経由します。(そして、はい、readline とターミナルの両方がセキュリティ対策として制御文字をフィルタリングする場合があります。)

ファイルは、C1 制御文字ブロック (0x80..0x9F) の使用方法が異なるため、windows-1252実際にはとの 2 つのエンコードが混在しています。iso8859-1

ISO 8859-1 では、この範囲全体を制御文字に使用し、バイト 0x80..0x9F は Unicode コードポイント U+0080..U+009F に対応します。
Windows-1252できないC1 制御文字を表します。この範囲のほとんどを印刷可能な文字に使用し、いくつかの「穴」、つまり何も割り当てられていないバイト値 (0x81、0x8D、0x8F、0x90、0x9D) があります。
それ以外の点では、2 つのエンコーディングは 0x00..0x7F および 0xA0..0xFF の範囲では同一です。

UTF-16 から Unicode テキストにデコードされ、印刷できない文字がエスケープされた「不良」入力ファイルの最初の行を見てみましょう。

\u0081@\u0081™TdaŽ®\u008FÆ‚êƒ~ƒNƒXƒgƒŒ\u0081[ƒg\u0081EƒrƒLƒjver1.11d1.d2\u0081iƒrƒLƒjƒ‚ƒfƒ‹ver.1.1\u0090³Ž®”z•z”Å\u0081j\n

(U+0081)は\u0081、ISO 8859-1 のバイト 0x81 にマップされますが、Windows-1252 ではエンコードできません。
ƒまた、Windows-1252 では 0x83 にマッピングされるが、ISO 8859-1 にはまったく存在しないシンボル (U+0192) も表示されます。

したがって、秘訣は、可能な場合は Windows-1252 を使用し、フォールバックとして ISO 8859-1 を使用し、コードポイントごとに個別に決定することです。(libiconv は 'ICONV_SET_FALLBACKS' を介してこれを実行できますが、CLIiconvツールでは実行できません。) 独自のツールを作成するのは簡単です。

#!/usr/bin/env python3
with open("/dev/stdin", "rb") as infd:
    with open("/dev/stdout", "wb") as outfd:
        for rune in infd.read().decode("utf-16"):
            try:
                chr = rune.encode("windows-1252")
            except UnicodeEncodeError:
                chr = rune.encode("iso8859-1")
            outfd.write(chr)
            # outputs shift-jis

ただし、半分あなたの入力ファイルは Shift-JIS で誤ってエンコードされています。もう半分 (英語) は UTF-16 で問題ありません。幸い Shift-JIS はそのまま通過するため、手動で分割する必要はありません。

#!/usr/bin/env python3
with open("éΦé╟é▌üEé╓é╚é┐éσé▒éªéΦé⌐.txt", "r", encoding="utf-16") as infd:
    with open("りどみ・へなちょこえりか.txt", "w", encoding="utf-8") as outfd:
        buf = b""
        for rune in infd.read():
            try:
                buf += rune.encode("windows-1252")
            except UnicodeEncodeError:
                try:
                    buf += rune.encode("iso8859-1")
                except UnicodeEncodeError:
                    buf += rune.encode("shift-jis")
        outfd.write(buf.decode("shift-jis"))

Answer 1