Extracción de registros

Extracción de registros

Los registros reales son:

2016-06-19 22:08:09 [213917] 1bEgCe-000tZR-E9 ** [email protected] ([email protected]) <[email protected]> F=<[email protected]> P=<[email protected]> R=lookuphost T=remote_smtp H=mailin-01.mx.aol.com [64.12.88.131]:25 I=[36.23.21.11]:60147: SMTP error from remote mail server after initial connection: 554- (RTR:BL)  https://postmaster.aol.com/error-codes#554rtrbl\n554  Connecting IP: 36.23.21.11
2016-06-20 01:03:22 [516458] 1bEiwD-001zt7-IY ** [email protected] ([email protected]) <[email protected]> F=<[email protected]> P=<[email protected]> R=lookuphost T=remote_smtp H=mailin-02.mx.aol.com [64.12.88.163]:25 I=[36.23.21.14]:47630: SMTP error from remote mail server after initial connection: 554- (RTR:BL)  https://postmaster.aol.com/error-codes#554rtrbl\n554  Connecting IP: 36.23.21.14
2016-06-20 09:29:46 [256975] 1bEqpT-0014jI-HV ** [email protected] F=<[email protected]> P=<[email protected]> R=dkim_lookuphost T=dkim_remote_smtp H=mailin-04.mx.aol.com [64.12.88.132]:25 I=[36.23.21.11]:43705: SMTP error from remote mail server after initial connection: 421 DYN:T2  https://postmaster.aol.com/error-codes#554rtrbl\n554  Connecting IP: 36.23.21.11
2016-06-20 11:41:34 [413114] 1bEstm-001jSC-Ic ** [email protected] F=<[email protected]> P=<[email protected]> R=dkim_lookuphost T=dkim_remote_smtp H=mailin-02.mx.aol.com [64.12.91.195]:25 I=[36.23.21.14]:48714: SMTP error from remote mail server after initial connection: 421 DYN:T1  https://postmaster.aol.com/error-codes#554rtrbl\n554  Connecting IP: 36.23.21.14

Lo que quiero conseguir:

Timestamp       EmailTo:        EmailFrom:               IPAddress:      ErrorCodes:
2016-06-19      [email protected]  [email protected]     36.23.21.11     554- (RTR:BL)
2016-06-20      [email protected]  [email protected]     36.23.21.14     554- (RTR:BL)
2016-06-20      [email protected]    [email protected]        36.23.21.11     421 DYN:T2
2016-06-20      [email protected] [email protected]  36.23.21.14     421 DYN:T1

He extraído los primeros tres campos del siguiente comando:

 echo -e "Timestamp\t\tEmailTo:\t\tEmailFrom:\t\t\t\t\t\t\t\tIPAddress:\tErrorCodes:" && awk 'NF>6 { d=6 ; while ( ! ($d ~ /^F=/ ) ) d++ ; printf "%s\t%s\t%s\n",$1,$6,substr($d,4,length($d)-4) ;} ' logs | column -t

Gracias a todos pero lo he hecho a través de:

 echo -e "Timestamp:\tEmailTo:\tEmailFrom:\t\tIPAddress:\tErrorCodes:" && awk 'NF>6 { d=6 ; while ( ! ($d ~ /^F=/ ) ) d++ ; print "%s\t%s\t%s\t%s\t%s\t%s\n",$1,$6,substr($d,4,length($d)-4),$NF,$(NF-5)$(NF-4) ; }' oops | column -t| grep -v "%s"

Respuesta1

Estabas en el camino correcto para usar awk. Debe escribir una secuencia de comandos que lea sus registros y genere resultados con los campos separados con pestañas¹. Luego use el comando de columna para realinear las columnas:

extraer.awk²:

BEGIN {OFS="\t"; print "Timestamp\tEmailTo:\tEmailFrom:\tIPAddress:\tErrorCodes:"}
{print $1, $6, $7, $NF, $(NF-5)}

Luego ejecútelo con este comando:

awk -f extract.awk logs | column -t -s '^I'

Donde eso '^I'representa una pestaña real entre comillas.

La única parte complicada fue lidiar con los mensajes de error en los registros, que podrían ser un número variable de palabras. Lo resolví contando las columnas de la derecha para los campos de IP y código de error.

Así es como se veía el resultado:

Timestamp   EmailTo:         EmailFrom:                      IPAddress:   ErrorCodes:
2016-06-19  [email protected]   ([email protected])     36.23.21.11  554-
2016-06-20  [email protected]   ([email protected])  36.23.21.14  554-
2016-06-20  [email protected]     F=<[email protected]>           36.23.21.11  421
2016-06-20  [email protected]  F=<[email protected]>     36.23.21.14  421

Es posible que haya adivinado mal acerca de las columnas de entrada ya que no especificaste cuál era cuál, y si deseas limpiar las direcciones de correo electrónico en la tercera columna, es posible que estés demasiado metido en awk, y es hora de pensar en usar Python o Perl.


¹o con el separador de salida de tu elección, siempre y cuando no esté en ninguno de los datos. Entonces úsalo como -sargumento para column.

²Como señala @Kusalananda, no hay razón para que un script awk se escriba como una sola línea. Aquí está su versión:

BEGIN   {
    OFS="\t";
    print "Timestamp\tEmailTo:\tEmailFrom:\tIPAddress:\tErrorCodes:";
}

{
    print $1, $6, $7, $NF, $(NF-5);
}

En cuanto a mí, me gusta una sola frase.

información relacionada