☰

Почему мой скрипт оболочки bash меняет пробелы на переводы строк?

tag-icon • tag-icon bash grep sed bash-scripting awk
Почему мой скрипт оболочки bash меняет пробелы на переводы строк?

Я начал писать простой скрипт оболочки bash для поиска дубликатов файлов в заданном каталоге, используя SHA1 для обнаружения совпадений. Все работало, пока я не столкнулся с именами файлов с пробелами. Обнаружение все еще работает, но в выводе пробелы преобразуются в переводы строк.

Сценарий...

#!/bin/bash
export TARGET=$1
find $TARGET -type f -exec openssl sha1 \{\} \; > ./dupes.txt
COUNT=-1
for EVALUATION in `cat ./dupes.txt | sed 's/SHA1(\(.*\))\= \(.*\)$/\2 \1/' | awk '{print $1}' | sort | uniq -c | sort -nr`
do
    if [[ $COUNT == -1 ]]
    then
        COUNT=$EVALUATION
    else 
        HASH=$EVALUATION
        if [[ $COUNT == 1 ]]
        then
            break
        fi
        echo "--- duplicate set ---"
        for FILE in `grep $HASH ./dupes.txt | awk -F"[()]+" '{print $2}'`
        do
            echo "$FILE"
        done
        echo "---------------------"
        COUNT=-1
    fi
done

Запустите скрипт как...

./dupes.sh /home/dacracot/testDupes

Он создаст файл dupes.txt, который выглядит примерно так...

SHA1(/home/dacracot/testDupes/lP3wj.jpg)= 324d91f412745481ed38aa184e5a56bfc3bf43b5
SHA1(/home/dacracot/testDupes/1673.gif)= 9c4029ec2e310f202b413d685209373d234e5465
SHA1(/home/dacracot/testDupes/.DS_Store)= b0ae6631a1412863f958da64091f4050005bf8d6
SHA1(/home/dacracot/testDupes/tae 2.svg)= 3ddc4fd6ae505bd01f370d0a018ef1f84b4d8011
SHA1(/home/dacracot/testDupes/tae.graffle)= 77f1ad6d695d944abacfe3a7f196be77125b6ef6
SHA1(/home/dacracot/testDupes/tae.svg)= 3ddc4fd6ae505bd01f370d0a018ef1f84b4d8011
SHA1(/home/dacracot/testDupes/22402_graph.jpg)= 24e5a25c8abf322d424dd5ce2e5b77381cd001c4
SHA1(/home/dacracot/testDupes/forwardcont.jpg)= 981e75060ae8e3aad2fe741b944d97219c8ccbe5
SHA1(/home/dacracot/testDupes/tae.svg.gz)= 922af5a5adbf7a4e7fd234aac7bcee2986133c4d
SHA1(/home/dacracot/testDupes/Alt2012.pdf)= 97d1fd997df9eb310b30a371c53883f5227cf10a
SHA1(/home/dacracot/testDupes/vcBZ8.jpg)= 7553c19fcb6aa159aada2e38066b5ba84465ee57
SHA1(/home/dacracot/testDupes/derm.graffle)= 0e1c4032f5f1fadc3a1643b2b77f816011c2d67f
SHA1(/home/dacracot/testDupes/WA.png)= 0e2e77624c3a76da4816f116665a041f6bdced2d
SHA1(/home/dacracot/testDupes/DRAW.GIF)= 6a8e4a2bf413e84140a0edeb40b475a5d3e4c255
SHA1(/home/dacracot/testDupes/crazyTalk.gif)= 1d938bbcb8cf09f30492df4504a50348cef7ea9d

И наконец вывод, который выглядит так...

--- duplicate set ---
/home/dacracot/testDupes/tae
2.svg
/home/dacracot/testDupes/tae.svg
---------------------

Но как вы видите из первого файла, вывод должен быть...

--- duplicate set ---
/home/dacracot/testDupes/tae 2.svg
/home/dacracot/testDupes/tae.svg
---------------------

Что меняет пробел на перевод строки?

решение1

Могу ли я внести некоторые изменения в ваш сценарий, чтобы упростить его и устранить вашу проблему?

Я вижу, что вы используете OpenSSL для вычисления хеша SHA1, а затем анализируете ненужный вывод и продолжаете сортировать и перебирать список хешей. Вы не указываете тег ОС в своем посте, но ваше использование /bin/bashпредполагает Linux, так почему бы не использовать sha1sumвместо этого? Это дает более простой вывод, который легче обрабатывать вашему скрипту. (Читатели, использующие BSD, могут использовать sha1 -rдля получения эквивалентного вывода.)

#!/bin/bash

find "$1" -type f -exec sha1sum \{\} \; > dupes.txt

awk '{print $1}' < dupes.txt |
  sort | uniq -c | sort -nr |
  while read COUNT HASH; do
    if [[ $COUNT == 1 ]]; then
      break
    else
      echo "--- duplicate set ---"
      grep "^$HASH " dupes.txt | sed -e "s/[^ ]* //"
      echo "---------------------"
    fi
  done

Можно провести и другие оптимизации, например, использовать findопции -print0и xargs, но, надеюсь, приведенные выше изменения помогут вам начать работу.

Связанный контент