Как преобразовать эту строку в японский язык с помощью инструментов GNU/Linux?

Question

Каналы — это функция ОС, которая работает с байтовыми буферами и никак не интерпретирует их содержимое. Поэтому переданный по каналу текст не проходит в bash иособенноникогда через 'readline'. Текст, вставленный как аргументы командной строки, пропускает. (И да, и readline, и терминал могут отфильтровывать управляющие символы в качестве меры безопасности.)

Ваш файл на самом деле представляет собой смесь двух кодировок, windows-1252и iso8859-1, из-за различных способов использования ими блока управляющих символов C1 (0x80..0x9F).

ISO 8859-1 использует весь этот диапазон для управляющих символов, а байты 0x80..0x9F соответствуют кодовым точкам Unicode U+0080..U+009F.
Windows-1252не могупредставляют собой управляющие символы C1; большую часть этого диапазона он использует для печатных символов и имеет несколько «дыр» – т. е. значений байтов, которым ничего не назначено (0x81, 0x8D, 0x8F, 0x90, 0x9D).
В остальном обе кодировки идентичны в диапазонах 0x00..0x7F и 0xA0..0xFF.

Давайте возьмем первую строку вашего «плохого» входного файла, декодированную из UTF-16 в текст Unicode и с экранированными непечатаемыми символами:

\u0081@\u0081™TdaŽ®\u008FÆ‚êƒ~ƒNƒXƒgƒŒ\u0081[ƒg\u0081EƒrƒLƒjver1.11d1.d2\u0081iƒrƒLƒjƒ‚ƒfƒ‹ver.1.1\u0090³Ž®”z•z”Å\u0081j\n

Вы можете увидеть \u0081(U+0081), который соответствует байту 0x81 в ISO 8859-1, но не может быть закодирован в Windows-1252.
Вы также можете увидеть символ ƒ(U+0192), который соответствует 0x83 в Windows-1252, но вообще не существует в ISO 8859-1.

Поэтому трюк заключается в том, чтобы использовать Windows-1252, когда это возможно, и ISO 8859-1 в качестве запасного варианта, принимая решение индивидуально для каждой кодовой точки. (libiconv может сделать это через «ICONV_SET_FALLBACKS», но инструмент CLI iconvне может.) Легко написать свой собственный инструмент:

#!/usr/bin/env python3
with open("/dev/stdin", "rb") as infd:
    with open("/dev/stdout", "wb") as outfd:
        for rune in infd.read().decode("utf-16"):
            try:
                chr = rune.encode("windows-1252")
            except UnicodeEncodeError:
                chr = rune.encode("iso8859-1")
            outfd.write(chr)
            # outputs shift-jis

Обратите внимание, что толькополовинавашейвходной файлнеправильно закодирован Shift-JIS. Другая половина (английская) — это совершенно нормальный UTF-16; к счастью, Shift-JIS пропустит его, так что ручное разделение не требуется:

#!/usr/bin/env python3
with open("éΦé╟é▌üEé╓é╚é┐éσé▒éªéΦé⌐.txt", "r", encoding="utf-16") as infd:
    with open("りどみ・へなちょこえりか.txt", "w", encoding="utf-8") as outfd:
        buf = b""
        for rune in infd.read():
            try:
                buf += rune.encode("windows-1252")
            except UnicodeEncodeError:
                try:
                    buf += rune.encode("iso8859-1")
                except UnicodeEncodeError:
                    buf += rune.encode("shift-jis")
        outfd.write(buf.decode("shift-jis"))

Answer 1