☰

Заменить два последовательных CR на один

tag-icon • tag-icon command-line text-processing
Заменить два последовательных CR на один

cat -e file.txtдает:

{"yellow":"mango"}^M$
^M$
{"yellow":"banana"}^M$
^M$
{"yellow":"blabla"}^M$
^M$

и я хотел бы просто иметь:

{""yellow":"mango"}^M$
{"yellow":"banana"}^M$
{"yellow":"blabla"}^M$

на месте для всех файлов с расширением txt в папке. Так что я попробовал:

find . -type f -name "*.txt" -print0 | xargs -0 sed -i "s/^M$^M$/^M$/g"

безрезультатно. Есть ли у кого-нибудь идея получше?

head -n 3 file.txt | od -bc

урожайность:

0000000 173 042 171 145 154 154 157 167 042 072 042 155 141 156 147 157
          {   "   y   e   l   l   o   w   "   :   "   m   a   n   g   o
0000020 042 175 015 012 015 012 173 042 142 141 142 141 142 042 072 042
          "   }  \r  \n  \r  \n   {   "   b   a   b   a   b   "   :   "
0000040 155 141 156 147 157 042 175 015 012
          m   a   n   g   o   "   }  \r  \n
0000051

этот:

awk 1 RS='\r\n' ORS= < file.txt

полностью удаляет новые строки (так что это нехорошо: я хочу сохранить одну из двух последовательных в каждой строке, но это что-то делает).

решение1

Вы можете использовать sed -z 's/\r\n\r\n/\r\n/g'.

Обычно sedработает только с одной строкой за раз. При использовании этой -zопции sedбудет работать со строками, разделенными 0байтами, которые обычно не существуют в текстовом файле, поэтому весь файл будет рассматриваться как одна строка, а переводы строк могут быть заменены.

(найти напереполнение стекаи добавлено объяснение)

решение2

Вы также можете удалить строки, содержащие только возврат каретки.

  • С помощью GNU Sed:

    sed '/^\r$/d' file

  • Для минимальной, но совместимой с POSIX машины (здесь нам нужно сгенерировать возврат каретки с помощью Printf):

    sed "/^$(printf "\r")$/d" file

^соответствует началу строки и последнему $, концу строки ( \n).

Например:

$ cat -e file
AB^M$
^M$
CB^M$
^M$
$ sed '/^\r$/d' file|cat -e
AB^M$
CB^M$

решение3

Если вас устраивает удаление всех пустых строк, вы можете сделать следующее:

perl -wlne '/\S/ and print' old_file > new_file

А если вы предпочитаете перезаписывать файлы, вы можете использовать -iпереключатель (на месте):

perl -wlni.bak -e '/\S/ and print' file1 file2 file3 ...

Вышеуказанная строка скопирует исходные файлы как *.bakфайлы. Если вам не нужны резервные копии, то вы можете просто пропустить эту .bakчасть, например:

perl -wlni -e '/\S/ and print' file1 file2 file3 ...

(Можно даже использовать подстановочные знаки, например, вместо file1 file2 file3 ...можно написать file*.)

Преимущество этого подхода в том, что он вносит изменения во все файлы одновременно (вместо того, чтобы запускать его по одному разу для каждого файла).

Но помните: это сохранит только те строки, которые содержат хотя бы один непробельный символ. Так что если строка состоит только из пяти пробелов, табуляции, возврата каретки и символа перевода строки, она не сохранится.

решение4

Использование Raku (язык, ранее известный как Perl6)

~$ raku -ne '.put if /\S/ ;' test_blank.txt
{"yellow":"mango"}
{"yellow":"banana"}
{"yellow":"blabla"}

В примере выше печатаются только строки, содержащие непробельные символы ( \Sсоответствует одному символу, который не является пробелом). Очень читабельная версия ниже:

~$ raku -ne '.put if .chars;' test_blank.txt
{"yellow":"mango"}
{"yellow":"banana"}
{"yellow":"blabla"}

НТН.

https://raku.org
https://rakudo.org/downloads

Связанный контент