☰

отобразить и удалить все символы > ascii code 127

tag-icon • tag-icon windows regex
отобразить и удалить все символы > ascii code 127

Как отобразить и удалить все символы > ascii code 127 из файла?

файл юникод 16 бит

ОБНОВЛЕНИЕ Деннис решил эту задачу, но есть интересное обсуждение диапазонов чисел.

решение1

Один из подходов — преобразовать файл в шестнадцатеричные цифры, удалить ненужные комбинации цифр, а затем преобразовать обратно.

$ echo 'A Unicode character: [ñ]' | xxd -p | sed 's/c3b1//' | xxd -r -p
A Unicode character: []

Вместо AWK можно использовать любую другую технику обработки текста sed. Будьте осторожны с неоднозначными последовательностями.

Дайте мне знать, если это соответствует вашим представлениям.

решение2

Оглядываясь назад на этот вопрос

Похоже, в конце я использовал одну из этих строк.

(кажется, это регулярное выражение Денниса)

$ xxd -p a.q | tr -d '\n' | sed "s/([0-9a-f]\{4\})/\1 /g" | sed -r "s/(00[8-9a-f][0-9a-f]|[0-9a-f][1-9a-f][0-9a-f][0-9a-f]|[1-9a-f]0[0-9a-f][0-9a-f])//g" | tr -d ' ' | sed "s/(.*)/feff\1/" | xxd -r -p >a.q2

или это (кажется, мое регулярное выражение)

$ xxd -p a.q | tr -d '\n' | sed "s/([0-9a-f]\{4\})/\1 /g" | sed -r "s/(00[89A-F][0-9A-F]|0[1-9A-F][0-9A-F]{2}|[1-9A-F][0-9A-F]{3})//g" | tr -d ' ' | sed "s/(.*)/feff\1/" | xxd -r -p >a.q2

Это некоторый комментарий о том, как я это сделал, с несколькими тестами.

0080-00FF     00[89A-F][0-9A-F]
0100-0FFF     0[1-9A-F][0-9A-F]{2}
1000-FFFF     [1-9A-F][0-9A-F]{3}

и вот несколько тестов, которые показывают, что regex работает. Я вставил их в свой вопрос, когда решал его, но мне следовало вставить их в ответ.

Всего шестнадцатеричных символов 85

$ xxd -u -p a.aa.txt | sed -r "s/.{4}/\0 /g" | grep -oE "[0-9A-F]{4}" | wc -l
85

Всего, что я хочу, 72

$ xxd -u -p a.aa.txt | sed -r "s/.{4}/\0 /g" | grep -oE "00[0-7][0-F]" | wc -
l
72

Всего, что мне не нужно, 13

$ xxd -p -u a.aa.txt | sed -r "s/[0-9A-F]{4}/\0 /g" | grep -oP '((?!00[0-7][0-9A-F])(?=[^ ]).){4}' | wc -l
13

Всего, что мне не нужно, 13

$ xxd -u -p a.aa.txt | sed -r "s/.{4}/\0 /g" | grep -oE "00[89A-F][0-9A-F]|0[1-9A-F][0-9A-F]{2}|[1-9A-F][0-9A-F]{3}" | wc –l
13

Связанный контент