nur Teile der Zeilen aus der Live-Protokolldatei anzeigen

Question 1

Ihre Daten sind hoch strukturiert, daSchlüssel="Wert", Sie können also mit gnu awk ein kleines Shell-Skript schreiben, das als Argument eine Liste von Schlüsselnamen verwendet und nur diese Werte ausgibt. Beispiel myscript:

#!/bin/bash
awk -v lhs="$*" '
BEGIN{  FPAT = "[a-z-]*=\"[^\"]*\""
        nwant = split(lhs,want)
}
{       for(i=1;i<=NF;i++){
            start = match($i,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

die Sie als aufrufen myscript srcip categoryname url. Dies setzt die awk-Variable lhsauf die Argumente als einzelne Zeichenfolge, die wantam Anfang in Arrays aufgeteilt werden. Die Zeilen werden von awk in Felder aufgeteilt, die dem Muster entsprechenSchlüssel="Wert"durch Verwendung der integrierten FPATVariable.

In jeder Zeile teilen wir jedes Feld match()in zwei Gruppen auf, für den Schlüssel und für den Teil in Anführungszeichen. Diese werden von awk in ein Array eingefügt aund wir speichern sie in einem assoziativen Array, keydas durch die Schlüsselzeichenfolge indiziert wird.

Dann drucken wir für jeden gewünschten Schlüssel den Wert und löschen ihn für die nächste Zeile (falls diese Zeile diesen Schlüssel nicht hat). Dies setzt natürlich voraus, dass alle Daten die erforderliche Struktur haben und Änderungen erforderlich sind, um (") innerhalb des Werts oder Schlüssel mit nicht alphabetischen Zeichen zu verarbeiten.

Versionen von gnu awk (gawk) vor 4.0 verfügen nicht über die FPATintegrierte Funktion zum Aufteilen der Zeile in Felder, die einem Muster entsprechen. Sie müssen dies daher selbst tun:

#!/bin/bash
awk -v lhs="$*" '
BEGIN{ nwant = split(lhs,want) }
{       input = $0
        while(match(input,"[a-z-]*=\"[^\"]*\"")>0){
            field = substr(input,RSTART,RLENGTH)
            input = substr(input,RSTART+RLENGTH)
            start = match(field,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

Natürlich könnten Sie die beiden Match-Aufrufe zu einem kombinieren, aber dies zeigt den Unterschied zum Original.

Answer

Ihre Daten sind hoch strukturiert, daSchlüssel="Wert", Sie können also mit gnu awk ein kleines Shell-Skript schreiben, das als Argument eine Liste von Schlüsselnamen verwendet und nur diese Werte ausgibt. Beispiel myscript:

#!/bin/bash
awk -v lhs="$*" '
BEGIN{  FPAT = "[a-z-]*=\"[^\"]*\""
        nwant = split(lhs,want)
}
{       for(i=1;i<=NF;i++){
            start = match($i,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

die Sie als aufrufen myscript srcip categoryname url. Dies setzt die awk-Variable lhsauf die Argumente als einzelne Zeichenfolge, die wantam Anfang in Arrays aufgeteilt werden. Die Zeilen werden von awk in Felder aufgeteilt, die dem Muster entsprechenSchlüssel="Wert"durch Verwendung der integrierten FPATVariable.

In jeder Zeile teilen wir jedes Feld match()in zwei Gruppen auf, für den Schlüssel und für den Teil in Anführungszeichen. Diese werden von awk in ein Array eingefügt aund wir speichern sie in einem assoziativen Array, keydas durch die Schlüsselzeichenfolge indiziert wird.

Dann drucken wir für jeden gewünschten Schlüssel den Wert und löschen ihn für die nächste Zeile (falls diese Zeile diesen Schlüssel nicht hat). Dies setzt natürlich voraus, dass alle Daten die erforderliche Struktur haben und Änderungen erforderlich sind, um (") innerhalb des Werts oder Schlüssel mit nicht alphabetischen Zeichen zu verarbeiten.

Versionen von gnu awk (gawk) vor 4.0 verfügen nicht über die FPATintegrierte Funktion zum Aufteilen der Zeile in Felder, die einem Muster entsprechen. Sie müssen dies daher selbst tun:

#!/bin/bash
awk -v lhs="$*" '
BEGIN{ nwant = split(lhs,want) }
{       input = $0
        while(match(input,"[a-z-]*=\"[^\"]*\"")>0){
            field = substr(input,RSTART,RLENGTH)
            input = substr(input,RSTART+RLENGTH)
            start = match(field,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

Natürlich könnten Sie die beiden Match-Aufrufe zu einem kombinieren, aber dies zeigt den Unterschied zum Original.

Question 2

Verwenden von (POSIX-konform) sed...

sed 's/.* srcip="\([^"]*\)" .* url="\([^"]*\)" .* categoryname="\([^"]*\)" .*/\1 \3 \2/' logfile

Hier gibt es nichts Ausgefallenes, suchen Sie einfach die Schlüssel und umgeben Sie die Werte mit Klammern \(..\), damit sie als Rückverweise verwendet werden können. Dann ersetzen wir die Zeichenfolge nur durch die Rückverweise, durch Leerzeichen getrennt und nach Ihren Anforderungen sortiert: \1 \3 \2.

Ausgabe:

10.11.12.13 Uncategorized https://website.net/
10.13.14.15 Education/Reference http://host.com/mini_banner.png

Wenn die Protokolle Zeichenfolgen enthalten, die nicht über alle dieser Schlüssel verfügen, können Sie Folgendes verwenden:

sed -n 's/.* srcip="\([^"]*\)" .* url="\([^"]*\)" .* categoryname="\([^"]*\)" .*/\1 \3 \2/p' logfile

Dadurch werden nur Zeilen gedruckt, die dem Muster entsprechen.

Und wenn Sie diese natürlich im Streaming-Modus verwenden möchten, entfernen Sie einfach den Dateinamen und tun Sie[something sending logs to stdout] | sed ...

Answer