☰

Grep двух файлов и вывод строк с несколькими совпадениями

tag-icon • tag-icon text-processing grep pattern-matching
Grep двух файлов и вывод строк с несколькими совпадениями

У меня есть два файла.

  • file1.txt 
    abc
def
ghi
jkl
mno
pqr
  • file2.txt 
    abc ghi
abc xyz
xyz xyz
mno jkl
def stu

(разделитель столбцов — табуляция)

Я пытаюсь выполнить grep file1.txtпротив file2.txtчего-то вроде этого:

grep -w -f file1.txt file2.txt

и я получаю следующий вывод:

abc     ghi
abc     xyz
mno     jkl
def     stu

Однако мне нужен результат, гдеобастолбец 1 и столбец 2 file2.txtимеют совпадения в file1.txt, например:

abc     ghi
mno     jkl

Любая помощь приветствуется.

Спасибо.

Дэн

решение1

Сохраните каждое значение file1.txtв массиве a. Затем проанализируйте file2.txtи выведите строки, которые содержат как 1-е, так и 2-е поле в a.

awk 'NR==FNR{a[$0];next}$1 in a && $2 in a' file1.txt file2.txt

Для произвольного количества полей в file2.txtцикле перебрать все поля и выполнить проверку. Если одно из полей отсутствует в a, перейти к следующей строке, в противном случае вывести строку.

awk 'NR==FNR{a[$0];next}{for(i=1;i<=NF;i++){if(!($i in a)){next}}print}' file1.txt file2.txt

решение2

Используя pythonмы можем приблизиться к pbm, создав надмножество b, которое включает в себя элементы file1.txt.

Затем для каждой прочитанной строки file2.txtмы проверяем, является ли множество, сформированное из этой текущей строки, подмножеством надмножества b. В этом случае мы печатаем текущую строку файла file2.txt`

$ python3 -c 'import sys
f1, f2 = sys.argv[1:]
with open(f1) as fh1, open(f2) as fh2:
  b = set([l.strip() for l in fh1])
  print(*(l.rstrip() for l in fh2 if set(l.strip().split()).issubset(b)), sep="\n")
' file1.txt file2.txt

abc ghi
mno jkl

$ perl -lane '$. == 1 and 
    %h = map { /(.*)(\n)/ } <STDIN>;
    print if ! grep { ! $h{$_} } @F;
' file2.txt < file1.txt

Используя sed, мы сохраняем file1.txt в памяти, а затем для каждой строки, считанной из File2.txt, мы сравниваем наличие ВСЕХ элементов текущей строки и выводим на экран, если все найдены.

$ sed -Ee '
    /\n/{h;d;}
    /\s/!{H;d;}
    G;h
    s/\n.*//;s/\n//;x
    :a
      s/^\s?(\S+)((\s\S+)?\n.*\n\1(\n|$))/\2/
    ta
    s/^\n//;tb
    D;:b;x
' file1.txt file2.txt

while IFS= read -r l <&3; do
  read -r a b <<<"$l"
  grep -qFe "$a" file1.txt &&
  grep -qFe "$b" file1.txt &&
  printf '<%s>\n' "$l"
done 3< file2.txt

Связанный контент