☰

Извлечь одно вхождение шаблона из файла

tag-icon • tag-icon regular-expression
Извлечь одно вхождение шаблона из файла

У меня есть большой файл, содержащий журналы, похожие на показанный ниже. Я хотел бы найти все транзакции (TR#), затронутые ошибкой. Мне нужно извлечь одно вхождение каждого идентификатора TR#.

Как я мог это сделать?

    Apr 30 16:51:29.574 application.crit: [6104]:TR#14. Transaction send can not be sent. Error Code: 704
    Apr 30 16:51:29.574 application.crit: [6104]:TR#14. Transaction send can not be sent. Error Code: 704
    Apr 30 16:51:29.574 application.crit: [6104]:TR#14. Transaction send can not be sent. Error Code: 704
    Apr 30 16:51:29.574 application.crit: [6104]:TR#14. Transaction send can not be sent. Error Code: 704
    Apr 30 16:51:29.574 application.crit: [6104]:TR#238. Transaction send can not be sent. Error Code: 704
    Apr 30 16:51:29.574 application.crit: [6104]:TR#238. Transaction send can not be sent. Error Code: 704
    Apr 30 16:51:29.574 application.crit: [6104]:TR#238. Transaction send can not be sent. Error Code: 704
    Apr 30 16:51:29.574 application.crit: [6104]:TR#238. Transaction send can not be sent. Error Code: 704
    Apr 30 16:51:29.574 application.crit: [6104]:TR#238. Transaction send can not be sent. Error Code: 704
    Apr 30 16:51:29.574 application.crit: [6104]:TR#238. Transaction send can not be sent. Error Code: 704

Требуемый результат:

    Apr 30 16:51:29.574 application.crit: [6104]:TR#14. Transaction send can not be sent. Error Code: 704
    Apr 30 16:51:29.574 application.crit: [6104]:TR#238. Transaction send can not be sent. Error Code: 704

решение1

Это очень просто сделать awk:

$ awk 'c[$5]++==1' file 
Apr 30 16:51:29.574 application.crit: [6104]:TR#14. Transaction send can not be sent. Error Code: 704
Apr 30 16:51:29.574 application.crit: [6104]:TR#238. Transaction send can not be sent. Error Code: 704

Или на Perl:

$ perl -ane '$k{$F[4]}++==1 && print' file 
Apr 30 16:51:29.574 application.crit: [6104]:TR#14. Transaction send can not be sent. Error Code: 704
Apr 30 16:51:29.574 application.crit: [6104]:TR#238. Transaction send can not be sent. Error Code: 704

Вышеуказанное предполагает, что число перед каждым TR#IDявляется частью идентификатора. Если числа могут меняться, но вам нужен только один из них, используйте это вместо этого:

$ awk -F'[:.]' 'c[$7]++==1' file

или

$ perl -F'[:.]' -ane '$k{$F[6]}++==1 && print' file

решение2

Чтобы получить и распечатать первое вхождение каждого сообщения, попробуйте

awk '! m[$5] {m[$5]=$0} END{for (e in m) print m[e]}'

Я сделал временные метки в вашем примере последовательными, чтобы протестировать его (а также исправил окончательное усеченное значение ошибки):

$ awk '! m[$5] {m[$5]=$0} END{for (e in m) print m[e]}' tr2.log
Apr 30 16:51:27.574 application.crit: [6104]:TR#14. Transaction send can not be sent. Error Code: 704
Apr 30 16:51:31.574 application.crit: [6104]:TR#238. Transaction send can not be sent. Error Code: 704

С благодарностью @terdon

решение3

Вот скрипт на Perl, который делает то, что вам нужно:

#!/usr/bin/perl

#Read each line
while ($line = <>) {
  # Extract the transaction ID by looking for the text TR followed by digits
  ($trid) = $line =~ /.*(TR#\d+).*/ ;
  # If we've not seen the ID before, print it out
  unless ($trids{$trid}) {
    print $line;
  }
  # Remember the ID so we don't print it out again
  $trids{$trid} = 1;
}

Когда я вызываю его, используя ваши данные, вот что я получаю:

temeraire:ul jenny$ ./extract.pl in.txt 
    Apr 30 16:51:29.574 application.crit: [6104]:TR#14. Transaction send can not be sent. Error Code: 704
    Apr 30 16:51:29.574 application.crit: [6104]:TR#238. Transaction send can not be sent. Error Code: 704

решение4

Через GNU sed, украденный изэтотТАК ОТВЕТ,

sed '$!N; /^\(.*\)\n\1$/!P; D' file

Связанный контент