exibir apenas partes de linhas do arquivo de log ao vivo

Question 1

Seus dados são altamente estruturados comochave = "valor", para que você possa escrever um pequeno script de shell usando gnu awk que usa como argumento uma lista de nomes de chaves e apenas imprime esses valores. Por exemplo, myscript:

#!/bin/bash
awk -v lhs="$*" '
BEGIN{  FPAT = "[a-z-]*=\"[^\"]*\""
        nwant = split(lhs,want)
}
{       for(i=1;i<=NF;i++){
            start = match($i,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

que você chama como myscript srcip categoryname url. Isso define a variável awk lhspara os argumentos como uma única string, que é dividida em um array wantno início. As linhas são divididas pelo awk em campos que correspondem ao padrãochave = "valor"usando a FPATvariável interna.

Em cada linha, para cada campo dividimos match()em 2 grupos capturados, para a chave e para a parte entre aspas duplas. Eles são colocados por awk em array ae os salvamos em um array associativo keyindexado pela string-chave.

Então, para cada chave desejada, imprimimos o valor e limpamos para a próxima linha (caso essa linha não possua esta chave). Obviamente, isso pressupõe que todos os dados tenham a estrutura necessária e precisarão de alterações para manipular (") dentro do valor ou chaves com caracteres não alfabéticos.

Versões do gnu awk (gawk) anteriores à 4.0 não possuem o FPATrecurso interno para dividir a linha em campos que correspondam a um padrão, então você deve fazer isso sozinho:

#!/bin/bash
awk -v lhs="$*" '
BEGIN{ nwant = split(lhs,want) }
{       input = $0
        while(match(input,"[a-z-]*=\"[^\"]*\"")>0){
            field = substr(input,RSTART,RLENGTH)
            input = substr(input,RSTART+RLENGTH)
            start = match(field,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

Obviamente, você poderia combinar as duas chamadas de jogo em uma, mas isso mostra a diferença com o original.

Answer

Seus dados são altamente estruturados comochave = "valor", para que você possa escrever um pequeno script de shell usando gnu awk que usa como argumento uma lista de nomes de chaves e apenas imprime esses valores. Por exemplo, myscript:

#!/bin/bash
awk -v lhs="$*" '
BEGIN{  FPAT = "[a-z-]*=\"[^\"]*\""
        nwant = split(lhs,want)
}
{       for(i=1;i<=NF;i++){
            start = match($i,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

que você chama como myscript srcip categoryname url. Isso define a variável awk lhspara os argumentos como uma única string, que é dividida em um array wantno início. As linhas são divididas pelo awk em campos que correspondem ao padrãochave = "valor"usando a FPATvariável interna.

Em cada linha, para cada campo dividimos match()em 2 grupos capturados, para a chave e para a parte entre aspas duplas. Eles são colocados por awk em array ae os salvamos em um array associativo keyindexado pela string-chave.

Então, para cada chave desejada, imprimimos o valor e limpamos para a próxima linha (caso essa linha não possua esta chave). Obviamente, isso pressupõe que todos os dados tenham a estrutura necessária e precisarão de alterações para manipular (") dentro do valor ou chaves com caracteres não alfabéticos.

Versões do gnu awk (gawk) anteriores à 4.0 não possuem o FPATrecurso interno para dividir a linha em campos que correspondam a um padrão, então você deve fazer isso sozinho:

#!/bin/bash
awk -v lhs="$*" '
BEGIN{ nwant = split(lhs,want) }
{       input = $0
        while(match(input,"[a-z-]*=\"[^\"]*\"")>0){
            field = substr(input,RSTART,RLENGTH)
            input = substr(input,RSTART+RLENGTH)
            start = match(field,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

Obviamente, você poderia combinar as duas chamadas de jogo em uma, mas isso mostra a diferença com o original.

Question 2

Usando (compatível com POSIX) sed...

sed 's/.* srcip="\([^"]*\)" .* url="\([^"]*\)" .* categoryname="\([^"]*\)" .*/\1 \3 \2/' logfile

Nada sofisticado aqui, apenas encontre as chaves e coloque os valores entre parênteses, \(..\)o que permite que sejam usados como referências anteriores. Em seguida, substituímos a string apenas pelas referências anteriores, delimitadas por espaço, ordenadas de acordo com sua necessidade: \1 \3 \2.

Saída:

10.11.12.13 Uncategorized https://website.net/
10.13.14.15 Education/Reference http://host.com/mini_banner.png

Se os logs contiverem strings que não possuem todas essas chaves, você poderá usar:

sed -n 's/.* srcip="\([^"]*\)" .* url="\([^"]*\)" .* categoryname="\([^"]*\)" .*/\1 \3 \2/p' logfile

Isso imprimirá apenas linhas que correspondam ao padrão.

E, claro, se você quiser usá-los em streaming, basta remover o nome do arquivo e fazer[something sending logs to stdout] | sed ...

Answer