☰

Переместить огромное количество файлов в структурированный по дате каталог

tag-icon • tag-icon shell-script files rename
Переместить огромное количество файлов в структурированный по дате каталог

У меня в этом каталоге около 1 миллиона файлов:/home/username/images/

Каждый из файлов называется примерно так: 012345678910(Place)_0_20120414185957_28841.jpgпри этом временная часть имени файла меняется для каждой картинки.

Приведенный ниже код содержит код для сортировки/перемещения файлов в эту структуру дат:/home/username/sorted/2012/04/14/18/name_of_file.jpg

Для небольшой выборки файлов это работает нормально, но для огромного каталога мой терминал Putty отключается после вывода

Directory $newdir does not exist.  Creating same.

У меня был другой код, который всегда завершался с кодом ошибки argument list too long.

Вот код:

#!/bin/bash
ALLFILES=(images/*)
for ((i=0; i<${#ALLFILES[*]}; i+=30000));
do
    set $(echo "${ALLFILES[@]:i:30000}" | awk -F_ '{print $1, $2, $3, $4, $5}')
    fullyear=$3
    year=$(echo $fullyear |cut -c1-4)
    month=$(echo $fullyear |cut -c5-6)
    day=$(echo $fullyear |cut -c7-8)
    hour=$(echo $fullyear |cut -c9-10)
    newdir=$(echo /home/username/sorted/$year/$month/$day/$hour/)
    if ! [ -d $newdir ]; then
        echo Directory $newdir does not exist.  Creating same.
        mkdir -p $newdir;
    fi
    mv "${ALLFILES[@]:i:30000}" $newdir;
done

Есть идеи, почему соединение не будет сохраняться при выполнении большого цикла?

решение1

Попробуйте запустить его в сеансе screen. Или даже попробуйте другую конструкцию. Я считаю, что find + sed будет работать лучше, чем чистый bash:

find images/ -name "*.jpg" | sed 's%^[^_]*_[^_]*_\([0-9][0-9][0-9][0-9]\)\([0-9][0-9]\)\([0-9][0-9]\)\([0-9][0-9]\).*%mkdir -p "/home/username/sorted/\1/\2/\3/\4" \&\& mv "&" "/home/username/sorted/\1/\2/\3/\4/"%'

Это просто для того, чтобы показать, как sed создает команды для выполнения. Добавление eпосле last %заставит команду выполниться:

find images/ -name "*.jpg" | sed 's%^[^_]*_[^_]*_\([0-9][0-9][0-9][0-9]\)\([0-9][0-9]\)\([0-9][0-9]\)\([0-9][0-9]\).*%mkdir -p "/home/username/sorted/\1/\2/\3/\4" \&\& mv "&" "/home/username/sorted/\1/\2/\3/\4/"%e'

ps. Вам не нужно использовать в bash

day=$(echo $fullyear |cut -c7-8)

Bash может сделать это сам без echo | cut:

day=${fullyear:6:2}

решение2

Я использую этот скрипт оболочки в корне каталога, заполненного файлами, чтобы переместить их все в year/monthструктуру, подобную -:

#!/usr/bin/env bash

if [ ! $1 ]; then
    echo "Usage: ./pictures.sh jpg"
    exit 1
fi

for f in *."$1"; do
    FILENAME="$f"
    YEAR=`date -j -f "%s" $(stat -f "%m" "$FILENAME") +"%Y"`
    MONTH=`date -j -f "%s" $(stat -f "%m" "$FILENAME") +"%m_%B"`
    DEST="$YEAR/$MONTH"

    if [ ! -d "$DEST" ]; then
        mkdir -p "$DEST"
    fi

    echo "Moving $FILENAME to $DEST/$FILENAME ..."
    mv "$FILENAME" "$DEST/$FILENAME"
done

Использование: $ ./pictures.sh JPGдля перемещения *.JPG в правильную структуру.

решение3

Я также сортирую изображения по каталогам, структурированным по дате, но у меня немного другой подход. Я хочу, чтобы мои изображения попадали в соответствующие YYYY-MMкаталоги на основе их временных меток. Поэтому я начинаю с ls -l *.jpg > tmp.txtпапки с изображениями, затем вставляю это tmp.txtв цикл, чтобы получить временную метку для каждого файла. Я не нашел способа получить временную метку иным способом.

Вот мой код:

#!/bin/bash
hostdir="/home/Photos/"
destdir="/tmp/sorted"

cd $hostdir

touch /tmp/tmpsort.txt
ls -l *.jpg > /tmp/tmpsort.txt

while read line
do
    filename=$(echo $line | awk '{print $8}')
    filedate=$(echo $line | awk '{print $6}')
    filedir=${filedate:0:7}

    if [ ! -d $destdir/$filedir ]; then
        mkdir -p $destdir/$filedir
    fi

    # Let's skip files that were already sorted from a previous run
    if [ ! -f $destdir/$filedir/$fiename ]; then
        cp $filename $destdir/$filedir/
    fi

done < /tmp/tmpsort.txt
rm /tmp/tmpsort.txt

У меня нет миллионов изображений для сортировки, а если бы они были, то выполнение этого кода заняло бы довольно много времени. Но он работает так, как и задумано.

решение4

Следующая однострочная команда создаст скрипт оболочки для перемещения файлов в нужную папку на основе времени изменения.

find . -type f -not -name ".DS*" -exec stat -f "mkdir -p %Sm; mv \"%N\" %Sm" -t "%Y/%m/%d" {} \; > move.sh
sh move.sh

Я исключил файлы .DS* (-not -name ".DS*") Перед выполнением move.sh вы можете отредактировать его, чтобы удалить нежелательные файлы.

Связанный контент