☰

Как сжать 3000 изображений партиями по 50

tag-icon • tag-icon command-line tar image-processing compression batch
Как сжать 3000 изображений партиями по 50

У меня есть папка с более чем 3000 изображений, я хочу сжать 50 из них по отдельности и сохранить их в tar-файлах.

Изображения не имеют серийных названий.

Как написать bash-скрипт, который выполнит эту работу?

решение1

Предположим, что ваши изображения хранятся в ~/Pictures, что является сокращением для /home/USER_ID/Pictures. Поместите следующие команды в ваш домашний каталог в файл скрипта с именем CompressImages. Сделайте файл исполняемым с помощью:

chmod a+x ~/CompressImages

Вызовите скрипт с помощью:

~/CompressImages

Скопируйте следующий скрипт в файл ~/CompressImages:

#!/bin/bash

# Where to store Tars? We don't want in Images directory
COMPRESSED_DIR="$HOME/Downloads"
# TARs created with name below + "_999.tar"
TAR_NAME="CompressedImages"
# Directory Images are located in
FILES="$HOME/Pictures/*"

FileCount=50     # Number of files compressed into one Tar
TarCount=0       # Count of Tars created

i=0
for f in $FILES
do
    if [[ $(( i % FileCount )) -eq 0 ]] ; then
        let TarCount++
        TarName="$COMPRESSED_DIR/$TAR_NAME$TarCount.tar"
        tar -cvpf "$TarName" "$f"   # create .tar & add first file
    else
        tar -rvpf "$TarName" "$f"   # Add to existing tar
    fi
    let i++
done

После запуска CompressImagesскрипта проверьте результаты:

$ ll -h ~/Downloads/*.tar

-rw-rw-r-- 1 rick rick  14M Jun 18 16:55 Downloads/CompressedImages10.tar
-rw-rw-r-- 1 rick rick  48M Jun 18 16:55 Downloads/CompressedImages11.tar
-rw-rw-r-- 1 rick rick  16M Jun 18 16:55 Downloads/CompressedImages12.tar
-rw-rw-r-- 1 rick rick  55M Jun 18 16:55 Downloads/CompressedImages13.tar
-rw-rw-r-- 1 rick rick  45M Jun 18 16:55 Downloads/CompressedImages14.tar
-rw-rw-r-- 1 rick rick  43M Jun 18 16:55 Downloads/CompressedImages15.tar
-rw-rw-r-- 1 rick rick  37M Jun 18 16:55 Downloads/CompressedImages16.tar
-rw-rw-r-- 1 rick rick  38M Jun 18 16:55 Downloads/CompressedImages17.tar
-rw-rw-r-- 1 rick rick  44M Jun 18 16:55 Downloads/CompressedImages18.tar
-rw-rw-r-- 1 rick rick  47M Jun 18 16:55 Downloads/CompressedImages19.tar
-rw-rw-r-- 1 rick rick 180M Jun 18 16:55 Downloads/CompressedImages1.tar
-rw-rw-r-- 1 rick rick  53M Jun 18 16:55 Downloads/CompressedImages20.tar
-rw-rw-r-- 1 rick rick  33M Jun 18 16:55 Downloads/CompressedImages21.tar
-rw-rw-r-- 1 rick rick  13M Jun 18 16:55 Downloads/CompressedImages22.tar
-rw-rw-r-- 1 rick rick  26M Jun 18 16:55 Downloads/CompressedImages23.tar
-rw-rw-r-- 1 rick rick 1.4M Jun 18 16:55 Downloads/CompressedImages24.tar
-rw-rw-r-- 1 rick rick  13M Jun 18 16:55 Downloads/CompressedImages2.tar
-rw-rw-r-- 1 rick rick  15M Jun 18 16:55 Downloads/CompressedImages3.tar
-rw-rw-r-- 1 rick rick  23M Jun 18 16:55 Downloads/CompressedImages4.tar
-rw-rw-r-- 1 rick rick  11M Jun 18 16:55 Downloads/CompressedImages5.tar
-rw-rw-r-- 1 rick rick  12M Jun 18 16:55 Downloads/CompressedImages6.tar
-rw-rw-r-- 1 rick rick  20M Jun 18 16:55 Downloads/CompressedImages7.tar
-rw-rw-r-- 1 rick rick 7.4M Jun 18 16:55 Downloads/CompressedImages8.tar
-rw-rw-r-- 1 rick rick  21M Jun 18 16:55 Downloads/CompressedImages9.tar

решение2

Это можно сделать с помощью parallel -l 50:

cd /path/to/images

find . -maxdepth 1 -type f -print0 \
| parallel -0 -l 50 -j 1 tar cvpzf {#}.tar.gz {}

Добавьте -iname "*.jpg"или выполните аналогичную команду find, если есть и другие файлы.

Опустите zопцию tarи назовите ее .tarвместо tar.gz, если ваши изображения уже сжаты (что будет в случае, например jpg, ).

Объяснение:

  • find -print0отправляет данные с нулевым разделителем
  • parallel -0считывает данные, разделенные нулем
  • -l 50прочитайте 50 строк для каждого исполнения
  • -j 1выполняет одну задачу параллельно, вы можете изменить ее так, как вам удобнее (зависит от количества потоков ЦП и скорости ввода-вывода).
  • {#}будет заменен порядковым номером (0-n)
  • {}будут заменены 50 именами файлов.

Затем вы можете переместить/переименовать *.tar.gzего *.tarпо своему усмотрению.

Это будет намного быстрее, чем вызывать tarкаждый файл, добавляя его в существующий tar.

Связанный контент