☰

остановка diff после первой разницы

tag-icon • tag-icon linux diff comparison
остановка diff после первой разницы

Я хотел бы выполнить a diffдля 2 файлов и остановить его при первом различии. Я не требую, чтобы команда была выполнена через diff, конечно, но я требую, чтобы фактическая команда прекратилась, как только будет найдено и сообщено первое различие. Я работаю на некоторыхоченьбольшие файлы, и ожидаю идеального совпадения, но все равно хочу знать, в чем была разница, если она была найдена, поэтому diff -q, diff ... |head -1, и cmpне годятся. И, поскольку файлы очень большие, было бы неплохо что-то, что не исчерпывает память. Хотя это и не обязательно для моей текущей проблемы, бонусные баллы за решения, которые работают для первых (указанных пользователем) n различий, и за те, которые могут игнорировать различия в пробелах.

решение1

cmpостанавливается на первом различии:

% cat foo
foo
bar
baz
---
foo
bar
baz
% cat bar
foo
bar
baz
---
foo+
bar+
baz+
% cmp foo bar
foo bar differ: byte 20, line 5
%

Вы можете обернуть его в скрипт, чтобы вывести разные строки:

#! /bin/bash
line=$(cmp "$1" "$2" | awk '{print $NF}')
if [ ! -z $line ]; then
    awk -v file="$1" -v line=$line 'NR==line{print "In file "file": "$0; exit}' "$1"
    awk -v file="$2" -v line=$line 'NR==line{print "In file "file": "$0; exit}' "$2"
 fi

% ./script.sh foo bar
In file foo: foo
In file bar: foo+

Часть затрат теперь перекладывается на команды AWK, но это должно быть значительно быстрее, чем проверка обоих файлов целиком.

решение2

Я проверил это на простых примерах, но оставлю полевые испытания вам:

$ cat f1
l1
l21 l22       l23  l24


l3
l4x
l5


$ cat f2
l1
l21 l22       l23

l3
l4y
l5



$ cat awkdiff.awk


BEGIN {
   maxdiff = 5
   ignoreemptylines = 1
   whitespaceaware = 1

   if (whitespaceaware) {
      emptypattern = "^[[:space:]]*$"
   } else {
      emptypattern = "^$"
      FS=""
   }

   f1 = ARGV[1]
   f2 = ARGV[2]

   rc1=rc2=1
   while( (rc1>0 && rc2>0 && diff<maxdiff)  ) {
      rc1 = getline l1 < f1 ; ++nr1
      rc2 = getline l2 < f2 ; ++nr2

      if (ignoreemptylines) {
         while ( l1 ~ emptypattern   &&  rc1>0) {
            rc1 = getline l1 < f1 ; ++nr1
         }

         while ( l2 ~ emptypattern  &&  rc2>0) {
            rc2 = getline l2 < f2 ; ++nr2
         }
      }


      if ( rc1>0 && rc2>0) {
         nf1 = split( l1, a1)
         nf2 = split( l2, a2)

         if ( nf1 <= nf2) {
            nfmin = nf1
         } else {
            nfmin = nf2
         }

         founddiff = 0
         for (i=1; i<=nfmin; ++i) {
            if ( a2[i]"" != a1[i]"") {
               printf "%d:%d:{%s} != %d:%d:{%s}\n", \
                  nr1, nf1, a1[i], nr2, nf2, a2[i]
               founddiff=1
               ++diff
               break
            }
         }

         if ( !founddiff  &&  nf1 != nf2) {
            if ( nf1 > nf2)
               printf "%d:%d:{%s} != %d:EOL\n", nr1, nfmin+1, a1[nfmin+1], nr2
            else
               printf "%d:EOL != %d:%d:{%s}\n", nr1, nr2, nfmin+1, a2[nfmin+1]
            ++diff
         }
      } else {
         if ( rc1 == -1 && rc2 == -1) {
            print "IO error"
         } else if ( rc1 == 1 && rc2 == 0) {
            print "%d:%s != EOL\n", nr1, l1
         } else if ( rc1 == 0 && rc2 == 1) {
            printf "EOL != %d:%s\n", nr2, l2
         }
      }
   }
}


$ awk -f awkdiff.awk  /tmp/f1 /tmp/f2
2:4:{l24} != 2:EOL
6:1:{l4x} != 5:1:{l4y}

maxdiff = N: устанавливает максимальное количество различий, при котором сравнение должно остановиться

ignoreemptylines = 1|0: указывает, следует ли игнорировать пустые строки при сравнении

whitespaceaware = 1|0: указывает, должно ли сравнение выполняться пословно (предполагая, что последовательные пробелы равны) или построчно

Связанный контент