☰

Ищу инструмент/скрипт Unix, который, при заданном входном пути, сожмет каждую партию несжатых текстовых файлов размером 100 МБ в один файл gzip

tag-icon • tag-icon unix batch compression
Ищу инструмент/скрипт Unix, который, при заданном входном пути, сожмет каждую партию несжатых текстовых файлов размером 100 МБ в один файл gzip

У меня есть дамп из тысяч небольших текстовых файлов (1-5 МБ) размером, каждый из которых содержит строки текста. Мне нужно "сгруппировать" их, чтобы каждая партия была фиксированного размера - скажем, 100 МБ, и сжать эту партию.

Теперь эта партия может быть:

  1. Один файл, который представляет собой просто «кот» содержимого отдельных текстовых файлов, или
  2. Только отдельные текстовые файлы

Предостережения:

  1. unix split -bздесь не подойдет, так как мне нужно сохранить строки текста нетронутыми. Использование этой linesопции немного сложно, так как существует большой разброс в количестве байтов в каждой строке.
  2. Файлы не обязательно должны иметь строго фиксированный размер, главное, чтобы он находился в пределах 5% от запрошенного размера.
  3. Строки критически важны и не должны быть потеряны: мне нужно подтвердить, что входные данные были переданы на выход без потерь — какая контрольная сумма будет использоваться (что-то вроде CRC32, НО лучше/«сильнее» в случае коллизий)?

Скрипт должен подойти, но похоже, что это уже кто-то делал, и было бы неплохо увидеть какой-нибудь код (предпочтительно на Python или Ruby), который делает хотя бы что-то похожее.

решение1

Следующий скрипт создаст сжатые пакеты файлов в указанном каталоге. Вызывается он так:

script.sh directorypath

Он использует простой/наивный алгоритм (такой же, как вы описали):

  • Подсчитать все файлы.
  • Начать рекурсивное чтение всех файлов.
  • Получить размер, запись ls и контрольную сумму (SHA1) каждого файла. (Сохраните запись ls в manifest.txt, а контрольную сумму в checksum.txt).
  • Если размер только что превысил ограничение, используйте список manifest.txt для создания сжатого tar-файла (который также включает файлы манифеста и контрольной суммы).
  • Создайте временный каталог и распакуйте только что созданный tar.
  • Рассчитайте новые контрольные суммы только что извлеченных файлов.
  • Сравните с сохраненными контрольными суммами.
  • Если хотя бы одна контрольная сумма отличается, выходим с ошибкой.
  • В противном случае проверьте, включена ли опция удаления, и если да, удалите исходные файлы.
  • Повторяйте до тех пор, пока не останется ни одного файла.

Его вывод выглядит так:

Reading files...
15898 849 ../out/f068715p.jpg
Creating package (pack18.tar.gz) with 849 files, using 100078420 bytes...
tar: Removing leading `../' from member names
Preparing to verify package...
Creating new checksums...
Comparing checksums...
Package verification OK.
Deleting temporary verification directory...
Reading files...
16731 833 ../out/f069111c.jpg
Creating package (pack19.tar.gz) with 833 files, using 100004735 bytes...
tar: Removing leading `../' from member names
Preparing to verify package...
Creating new checksums...
Comparing checksums...
Package verification OK.
Deleting temporary verification directory...
Reading files...

Файлы пакетов создаются в текущем каталоге.

Одно предупреждение:

  • текущий каталог и исходный каталог не должны быть родительским/дочерним или дочерним/родительским, это не тестировалось.

Вот скрипт (PACKSIZELIMIT — это количество байтов, если DELETESOURCE равно 1, то он удалит исходные файлы [ну, вам также следует удалить символ # перед строкой «rm -f»]):

#!/bin/bash

PACKSIZELIMIT=100000000
PACKPREFFIX="pack"
#PACKSUFFIX=$(date +"_%Y%m%d_%H%M")
PACKSUFFIX=""
DELETESOURCE=0


LISTFILE="packbatchlist.txt"
MANIFESTFILE="manifest.txt"
CHECKSUMFILE="checksums.txt"
VERIFYFILE="verifysums.txt"



if [ -d "$1" ]; then
  PACKCOUNTER=0
  PACKSIZE=0
  FILECOUNTER=0
  ALLFILECOUNTER=0
  cat /dev/null > $LISTFILE
  cat /dev/null > $MANIFESTFILE
  cat /dev/null > $CHECKSUMFILE
  cat /dev/null > $VERIFYFILE
  echo "Reading files..."
  TOTALFILES=$(find "$1" -type f | wc -l)
  echo "There are $TOTALFILES files to process..."
  find "$1" -type f | while read SOURCEFILE ; do
    let "FILECOUNTER+=1"
    let "ALLFILECOUNTER+=1"
    echo -ne "\r$ALLFILECOUNTER $FILECOUNTER $SOURCEFILE\e[K"
    THISFILESIZE=$(stat -c %s "$SOURCEFILE")
    let "PACKSIZE+=$THISFILESIZE"
    echo $SOURCEFILE >> $LISTFILE
    ls -l $SOURCEFILE >> $MANIFESTFILE
    sha1sum $SOURCEFILE >> $CHECKSUMFILE
    if [ $PACKSIZE -gt $PACKSIZELIMIT -o $ALLFILECOUNTER -eq $TOTALFILES ]; then
      echo
      echo $MANIFESTFILE >> $LISTFILE
      echo $CHECKSUMFILE >> $LISTFILE
      PACKFILENAME="$PACKPREFFIX$PACKCOUNTER$PACKSUFFIX.tar.gz"
      echo "Creating package ($PACKFILENAME) with $FILECOUNTER files, using $PACKSIZE bytes..."
      tar -cf - -T $LISTFILE | gzip -c > $PACKFILENAME
      echo "Preparing to verify package..."
      TEMPCHECKDIR=$(mktemp -d)
      tar xzf $PACKFILENAME -C $TEMPCHECKDIR
      if [ -r "$TEMPCHECKDIR/$CHECKSUMFILE" ] ; then
        cut -d " " -f 1 $TEMPCHECKDIR/$CHECKSUMFILE > $VERIFYFILE
        sort $VERIFYFILE > $TEMPCHECKDIR/$CHECKSUMFILE
        echo "Creating new checksums..."
        cat /dev/null > $VERIFYFILE
        find "$TEMPCHECKDIR" -type f | while read CHECKEDFILE ; do
          CHECKEDFILESHORT=$(basename $CHECKEDFILE)
          if [ "$CHECKEDFILESHORT" != "$MANIFESTFILE" -a "$CHECKEDFILESHORT" != "$CHECKSUMFILE" ] ; then
            sha1sum $CHECKEDFILE | cut -d " " -f 1 >> $VERIFYFILE
          fi
        done
        sort $VERIFYFILE -o $VERIFYFILE
        echo "Comparing checksums..."
        DIFFFILES=$(comm --nocheck-order -3 $TEMPCHECKDIR/$CHECKSUMFILE $VERIFYFILE | wc -l)
        if [ $DIFFFILES -gt 0 ] ; then
          echo "ERROR: Package failed verification!"
          exit 2
        else
          echo "Package verification OK."
          echo "Deleting temporary verification directory..."
          find "$TEMPCHECKDIR" -delete
          if [ "$DELETESOURCE" == "1" ] ; then
            echo "Deleting source files..."
            cat $LISTFILE | while read FILE2DEL ; do
              echo -ne "\rDeleting $FILE2DEL ... \e[K"
              #rm -f $FILE2DEL
            done
            echo -e "\rFiles deleted.\e[K"
          fi
        fi
      else
        echo "ERROR: Cannot find checksum file from package!"
        exit 1
      fi
      let "PACKCOUNTER+=1"
      PACKSIZE=0
      FILECOUNTER=0
      cat /dev/null > $LISTFILE
      cat /dev/null > $MANIFESTFILE
      cat /dev/null > $CHECKSUMFILE
      cat /dev/null > $VERIFYFILE
      echo "Reading files..."
    fi
  done
else 
  echo
  echo "Missing source directory"
  echo
fi   


rm -f $LISTFILE
rm -f $MANIFESTFILE
rm -f $CHECKSUMFILE
rm -f $VERIFYFILE

решение2

У GNU split есть -Cопция, которая похожа на , -bно не разрывает строки.

Связанный контент