отображать только части строк из файла журнала в реальном времени

Question 1

Ваши данные хорошо структурированы, так какключ="значение", поэтому вы можете написать небольшой скрипт оболочки с использованием gnu awk, который принимает в качестве аргумента список имен ключей и просто выводит эти значения. Например, myscript:

#!/bin/bash
awk -v lhs="$*" '
BEGIN{  FPAT = "[a-z-]*=\"[^\"]*\""
        nwant = split(lhs,want)
}
{       for(i=1;i<=NF;i++){
            start = match($i,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

который вы вызываете как myscript srcip categoryname url. Это устанавливает переменную awk lhsдля аргументов как одну строку, которые в начале разбиваются на массив want. Строки разбиваются awk на поля, соответствующие шаблонуключ="значение"с помощью встроенной FPATпеременной.

В каждой строке, для каждого поля мы разделяем его на match()2 захваченные группы, для ключа и для части в двойных кавычках. Они помещаются awk в массив a, и мы сохраняем их в ассоциативном массиве, keyиндексируемом строкой ключа.

Затем для каждого нужного ключа мы печатаем значение и очищаем его для следующей строки (в случае, если в этой строке нет этого ключа). Очевидно, это предполагает, что все данные имеют требуемую структуру и потребуются изменения для обработки (") внутри значения или ключей с неалфавитными символами.

Версии gnu awk (gawk) до 4.0 не имеют FPATвстроенной функции для разбиения строки на поля, соответствующие шаблону, поэтому вам придется сделать это самостоятельно:

#!/bin/bash
awk -v lhs="$*" '
BEGIN{ nwant = split(lhs,want) }
{       input = $0
        while(match(input,"[a-z-]*=\"[^\"]*\"")>0){
            field = substr(input,RSTART,RLENGTH)
            input = substr(input,RSTART+RLENGTH)
            start = match(field,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

Разумеется, можно объединить два вызова сопоставления в один, но здесь видна разница с оригиналом.

Answer

Ваши данные хорошо структурированы, так какключ="значение", поэтому вы можете написать небольшой скрипт оболочки с использованием gnu awk, который принимает в качестве аргумента список имен ключей и просто выводит эти значения. Например, myscript:

#!/bin/bash
awk -v lhs="$*" '
BEGIN{  FPAT = "[a-z-]*=\"[^\"]*\""
        nwant = split(lhs,want)
}
{       for(i=1;i<=NF;i++){
            start = match($i,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

который вы вызываете как myscript srcip categoryname url. Это устанавливает переменную awk lhsдля аргументов как одну строку, которые в начале разбиваются на массив want. Строки разбиваются awk на поля, соответствующие шаблонуключ="значение"с помощью встроенной FPATпеременной.

В каждой строке, для каждого поля мы разделяем его на match()2 захваченные группы, для ключа и для части в двойных кавычках. Они помещаются awk в массив a, и мы сохраняем их в ассоциативном массиве, keyиндексируемом строкой ключа.

Затем для каждого нужного ключа мы печатаем значение и очищаем его для следующей строки (в случае, если в этой строке нет этого ключа). Очевидно, это предполагает, что все данные имеют требуемую структуру и потребуются изменения для обработки (") внутри значения или ключей с неалфавитными символами.

Версии gnu awk (gawk) до 4.0 не имеют FPATвстроенной функции для разбиения строки на поля, соответствующие шаблону, поэтому вам придется сделать это самостоятельно:

#!/bin/bash
awk -v lhs="$*" '
BEGIN{ nwant = split(lhs,want) }
{       input = $0
        while(match(input,"[a-z-]*=\"[^\"]*\"")>0){
            field = substr(input,RSTART,RLENGTH)
            input = substr(input,RSTART+RLENGTH)
            start = match(field,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

Разумеется, можно объединить два вызова сопоставления в один, но здесь видна разница с оригиналом.

Question 2

Использование (совместимого с POSIX) sed...

sed 's/.* srcip="\([^"]*\)" .* url="\([^"]*\)" .* categoryname="\([^"]*\)" .*/\1 \3 \2/' logfile

Ничего особенного, просто найдите ключи и заключите значения в скобки, \(..\)что позволит использовать их в качестве обратных ссылок. Затем мы заменяем строку только обратными ссылками, разделенными пробелами, упорядоченными по вашему требованию: \1 \3 \2.

Выход:

10.11.12.13 Uncategorized https://website.net/
10.13.14.15 Education/Reference http://host.com/mini_banner.png

Если в журналах содержатся строки, не имеющие всех этих ключей, то вы можете использовать:

sed -n 's/.* srcip="\([^"]*\)" .* url="\([^"]*\)" .* categoryname="\([^"]*\)" .*/\1 \3 \2/p' logfile

Будут напечатаны только те строки, которые соответствуют шаблону.

И, конечно, если вы хотите использовать их в потоковом режиме, просто удалите имя файла и сделайте[something sending logs to stdout] | sed ...

Answer