mostrar solo partes de líneas del archivo de registro en vivo

Question 1

Sus datos están altamente estructurados comoclave="valor", por lo que puedes escribir un pequeño script de shell usando gnu awk que toma como argumento una lista de nombres de claves y simplemente imprime esos valores. P.ej, myscript:

#!/bin/bash
awk -v lhs="$*" '
BEGIN{  FPAT = "[a-z-]*=\"[^\"]*\""
        nwant = split(lhs,want)
}
{       for(i=1;i<=NF;i++){
            start = match($i,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

al que llamas como myscript srcip categoryname url. Esto establece la variable awk lhspara los argumentos como una sola cadena, que se divide en una matriz wantal principio. Las líneas se dividen mediante awk en campos que coinciden con el patrón.clave="valor"utilizando la FPATvariable incorporada.

En cada línea, para cada campo lo dividimos match()en 2 grupos capturados, para la clave y para la parte entre comillas dobles. Estos se colocan mediante awk en una matriz ay los guardamos en una matriz asociativa keyindexada por la cadena de clave.

Luego, para cada clave deseada, imprimimos el valor y lo borramos para la siguiente línea (en caso de que esa línea no tenga esta clave). Obviamente, esto supone que todos los datos tienen la estructura requerida y necesitarán cambios para manejar (") dentro del valor o claves con caracteres no alfabéticos.

Las versiones de gnu awk (gawk) anteriores a la 4.0 no tienen la FPATfunción incorporada para dividir la línea en campos que coincidan con un patrón, por lo que debe hacerlo usted mismo:

#!/bin/bash
awk -v lhs="$*" '
BEGIN{ nwant = split(lhs,want) }
{       input = $0
        while(match(input,"[a-z-]*=\"[^\"]*\"")>0){
            field = substr(input,RSTART,RLENGTH)
            input = substr(input,RSTART+RLENGTH)
            start = match(field,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

Obviamente, puedes combinar las dos llamadas de coincidencia en una, pero esto muestra la diferencia con el original.

Answer

Sus datos están altamente estructurados comoclave="valor", por lo que puedes escribir un pequeño script de shell usando gnu awk que toma como argumento una lista de nombres de claves y simplemente imprime esos valores. P.ej, myscript:

#!/bin/bash
awk -v lhs="$*" '
BEGIN{  FPAT = "[a-z-]*=\"[^\"]*\""
        nwant = split(lhs,want)
}
{       for(i=1;i<=NF;i++){
            start = match($i,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

al que llamas como myscript srcip categoryname url. Esto establece la variable awk lhspara los argumentos como una sola cadena, que se divide en una matriz wantal principio. Las líneas se dividen mediante awk en campos que coinciden con el patrón.clave="valor"utilizando la FPATvariable incorporada.

En cada línea, para cada campo lo dividimos match()en 2 grupos capturados, para la clave y para la parte entre comillas dobles. Estos se colocan mediante awk en una matriz ay los guardamos en una matriz asociativa keyindexada por la cadena de clave.

Luego, para cada clave deseada, imprimimos el valor y lo borramos para la siguiente línea (en caso de que esa línea no tenga esta clave). Obviamente, esto supone que todos los datos tienen la estructura requerida y necesitarán cambios para manejar (") dentro del valor o claves con caracteres no alfabéticos.

Las versiones de gnu awk (gawk) anteriores a la 4.0 no tienen la FPATfunción incorporada para dividir la línea en campos que coincidan con un patrón, por lo que debe hacerlo usted mismo:

#!/bin/bash
awk -v lhs="$*" '
BEGIN{ nwant = split(lhs,want) }
{       input = $0
        while(match(input,"[a-z-]*=\"[^\"]*\"")>0){
            field = substr(input,RSTART,RLENGTH)
            input = substr(input,RSTART+RLENGTH)
            start = match(field,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

Obviamente, puedes combinar las dos llamadas de coincidencia en una, pero esto muestra la diferencia con el original.

Question 2

Usando (compatible con POSIX) sed...

sed 's/.* srcip="\([^"]*\)" .* url="\([^"]*\)" .* categoryname="\([^"]*\)" .*/\1 \3 \2/' logfile

No hay nada especial aquí, simplemente busque las claves y rodee los valores con pares, \(..\)lo que permite usarlos como referencias anteriores. Luego sustituimos la cadena con solo las referencias posteriores, delimitadas por espacios, ordenadas según sus requisitos: \1 \3 \2.

Producción:

10.11.12.13 Uncategorized https://website.net/
10.13.14.15 Education/Reference http://host.com/mini_banner.png

Si los registros contienen cadenas que no tienen todas estas claves, puede usar:

sed -n 's/.* srcip="\([^"]*\)" .* url="\([^"]*\)" .* categoryname="\([^"]*\)" .*/\1 \3 \2/p' logfile

Esto sólo imprimirá líneas que coincidan con el patrón.

Y, por supuesto, si desea utilizarlos en forma de transmisión, simplemente elimine el nombre del archivo y haga[something sending logs to stdout] | sed ...

Answer