僅顯示即時日誌檔案中的部分行

Question 1

您的資料是高度結構化的鍵=“值”，因此您可以使用 gnu awk 編寫一個小型 shell 腳本，該腳本將鍵名稱列表作為參數並僅列印這些值。例如myscript：

#!/bin/bash
awk -v lhs="$*" '
BEGIN{  FPAT = "[a-z-]*=\"[^\"]*\""
        nwant = split(lhs,want)
}
{       for(i=1;i<=NF;i++){
            start = match($i,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

您稱之為myscript srcip categoryname url.這將 awk 變數lhs設為參數作為單一字串，該字串want在開始時被拆分為陣列。這些行被 awk 劃分為與模式相符的字段鍵=“值”透過使用內建FPAT變數。

在每一行上，對於每個字段，我們將其分為match()2 個捕獲組，分別用於鍵和雙引號中的部分。這些由 awk 放入 array 中a，我們將它們保存在key由鍵字串索引的關聯數組中。

然後，對於每個想要的鍵，我們會列印該值，並清除下一行的值（如果該行沒有該鍵）。顯然，這假設所有資料都具有所需的結構，並且需要更改來處理值內的 (") 或具有非字母字元的鍵。

4.0 之前的 gnu awk (gawk) 版本沒有FPAT內建功能來將行拆分為與模式相符的字段，因此您必須自己執行此操作：

#!/bin/bash
awk -v lhs="$*" '
BEGIN{ nwant = split(lhs,want) }
{       input = $0
        while(match(input,"[a-z-]*=\"[^\"]*\"")>0){
            field = substr(input,RSTART,RLENGTH)
            input = substr(input,RSTART+RLENGTH)
            start = match(field,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

顯然，您可以將兩個匹配呼叫合併為一個，但這顯示了與原始匹配的差異。

Answer

您的資料是高度結構化的鍵=“值”，因此您可以使用 gnu awk 編寫一個小型 shell 腳本，該腳本將鍵名稱列表作為參數並僅列印這些值。例如myscript：

#!/bin/bash
awk -v lhs="$*" '
BEGIN{  FPAT = "[a-z-]*=\"[^\"]*\""
        nwant = split(lhs,want)
}
{       for(i=1;i<=NF;i++){
            start = match($i,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

您稱之為myscript srcip categoryname url.這將 awk 變數lhs設為參數作為單一字串，該字串want在開始時被拆分為陣列。這些行被 awk 劃分為與模式相符的字段鍵=“值”透過使用內建FPAT變數。

在每一行上，對於每個字段，我們將其分為match()2 個捕獲組，分別用於鍵和雙引號中的部分。這些由 awk 放入 array 中a，我們將它們保存在key由鍵字串索引的關聯數組中。

然後，對於每個想要的鍵，我們會列印該值，並清除下一行的值（如果該行沒有該鍵）。顯然，這假設所有資料都具有所需的結構，並且需要更改來處理值內的 (") 或具有非字母字元的鍵。

4.0 之前的 gnu awk (gawk) 版本沒有FPAT內建功能來將行拆分為與模式相符的字段，因此您必須自己執行此操作：

#!/bin/bash
awk -v lhs="$*" '
BEGIN{ nwant = split(lhs,want) }
{       input = $0
        while(match(input,"[a-z-]*=\"[^\"]*\"")>0){
            field = substr(input,RSTART,RLENGTH)
            input = substr(input,RSTART+RLENGTH)
            start = match(field,/([a-z-]*)="([^"]*)"/,a)
            key[a[1]] = a[2]
        }
        for(i=1;i<=nwant;i++){printf "%s ",key[want[i]]; key[want[i]] = ""}
        printf "\n"
}'

顯然，您可以將兩個匹配呼叫合併為一個，但這顯示了與原始匹配的差異。

Question 2

使用（符合 POSIX 標準）sed...

sed 's/.* srcip="\([^"]*\)" .* url="\([^"]*\)" .* categoryname="\([^"]*\)" .*/\1 \3 \2/' logfile

這裡沒什麼特別的，只需找到鍵並用括號包圍值，\(..\)這允許它們用作反向引用。然後我們用空格分隔的後向引用替換字串，並根據您的要求進行排序：\1 \3 \2。

輸出：

10.11.12.13 Uncategorized https://website.net/
10.13.14.15 Education/Reference http://host.com/mini_banner.png

如果日誌包含不具有所有這些鍵的字串，那麼您可以使用：

sed -n 's/.* srcip="\([^"]*\)" .* url="\([^"]*\)" .* categoryname="\([^"]*\)" .*/\1 \3 \2/p' logfile

這只會列印與模式相符的行。

當然，如果您想以串流方式使用它們，只需刪除檔案名稱並執行[something sending logs to stdout] | sed ...

Answer