У меня есть около 2,8 ТБ (да, терабайт) восстановленных данных, которые будут просканированы на предмет дубликатов. Машина, на которой находятся эти файлы, довольно старая и имеет всего 2 ГБ памяти (впрочем, для LVM это нормально), поэтому сканирование дубликатов на ней — настоящая пытка.
У меня такой вопрос: как заставить Debian перемещать файлы в папку с этим типом файла, автоматически переименовывать их при необходимости, без необходимости указывать список типов файлов.
У меня на нем около 800 ГБ свободного места, так что я могу провести некоторое тестирование, прежде чем позволить ему свободно работать с моими данными.
решение1
Я обернул код Стивена в скрипт и немного улучшил конвейер.
#!/bin/bash
set -e
set -u
set -o pipefail
start=$SECONDS
exts=$(ls -dp *.*| grep -v / | sed 's/^.*\.//' | sort -u) # not folders
ignore=""
while getopts ':f::i:h' flag; do
case "$flag" in
h)
echo "This script sorts files from the current dir into folders of the same file type. Specific file types can be specified using -f."
echo "flags:"
echo '-f (string file types to sort e.g. -f "pdf csv mp3")'
echo '-i (string file types to ignore e.g. -i "pdf")'
exit 1
;;
f)
exts=$OPTARG;;
i)
ignore=$OPTARG;;
:)
echo "Missing option argument for -$OPTARG" >&2;
exit 1;;
\?)
echo "Invalid option: -$OPTARG" >&2
exit 1
;;
esac
done
for ext in $exts
do
if [[ " ${ignore} " == *" ${ext} "* ]]; then
echo "Skiping ${ext}"
continue
fi
echo Processing "$ext"
mkdir -p "$ext"
mv -vn *."$ext" "$ext"/
done
duration=$(( SECONDS - start ))
echo "--- Completed in $duration seconds ---"
решение2
С каталогом, который выглядит как
$ ls
another.doc file.txt file1.mp3 myfile.txt
С помощью этой команды мы можем создать список расширений файлов:
$ exts=$(ls | sed 's/^.*\.//' | sort -u)
Затем мы можем перебрать эти расширения, перемещая файлы в подкаталоги:
$ for ext in $exts
> do
> echo Processing $ext
> mkdir $ext
> mv -v *.$ext $ext/
> done
При запуске мы получим следующий результат:
Processing doc
'another.doc' -> 'doc/another.doc'
Processing mp3
'file1.mp3' -> 'mp3/file1.mp3'
Processing txt
'file.txt' -> 'txt/file.txt'
'myfile.txt' -> 'txt/myfile.txt'
Результат:
$ ls
doc/ mp3/ txt/
$ ls *
doc:
another.doc
mp3:
file1.mp3
txt:
file.txt myfile.txt