如何使用 awk 提取所需的列並建立新文件？

Question 1

您將需要從每個文件中提取相關記錄並將結果寫入兩個新的臨時文件（可能使用awk），可能sort同時對其進行排序（使用）（示例文件說它們已排序，但可能不在正確的位置）鑰匙）。以下是處理其中一個文件的範例：

awk '$3 == "transcript" {printf("%s %s %s ", $3, $10, $12, $18);}' SampleA.GRCh38.gtf | sort -k 2 > tf1

然後，您可以使用join合併產生的兩個臨時/中間文件，awk以便每個記錄都具有每個文件中的兩個最終列。

join以下是您可能使用的命令範例：

join -o 1.1,1.2,1.3,2.3 -1 2 -2 2 tf1 tf2

您可能希望在運行之前列印標題行（例如使用命令printf）join，並且您可能希望用join製表符替換輸出中的空格（例如使用sed），或使用另一個awk腳本來格式化輸出。

從這些範例中，您應該能夠編寫一個腳本來處理這兩個檔案並產生所需的輸出（並清理臨時檔案等）。

請注意，根據資料檔案的大小，您甚至可以在一個awk（或python或perl等）程式中完成所有操作（即可以輕鬆地將兩個檔案中的所有選定資料同時保存在記憶體中）。

Answer

您將需要從每個文件中提取相關記錄並將結果寫入兩個新的臨時文件（可能使用awk），可能sort同時對其進行排序（使用）（示例文件說它們已排序，但可能不在正確的位置）鑰匙）。以下是處理其中一個文件的範例：

awk '$3 == "transcript" {printf("%s %s %s ", $3, $10, $12, $18);}' SampleA.GRCh38.gtf | sort -k 2 > tf1

然後，您可以使用join合併產生的兩個臨時/中間文件，awk以便每個記錄都具有每個文件中的兩個最終列。

join以下是您可能使用的命令範例：

join -o 1.1,1.2,1.3,2.3 -1 2 -2 2 tf1 tf2

您可能希望在運行之前列印標題行（例如使用命令printf）join，並且您可能希望用join製表符替換輸出中的空格（例如使用sed），或使用另一個awk腳本來格式化輸出。

從這些範例中，您應該能夠編寫一個腳本來處理這兩個檔案並產生所需的輸出（並清理臨時檔案等）。

請注意，根據資料檔案的大小，您甚至可以在一個awk（或python或perl等）程式中完成所有操作（即可以輕鬆地將兩個檔案中的所有選定資料同時保存在記憶體中）。

Question 2

您可以只刪除join文件，然後awk刪除那些包含的文件NF==4，因為只有您感興趣的行才有第 18 個欄位。所有其他行將只有 2 個字段

也對計算的路徑做出某些假設SampleB，但是您可以修改它以適應...

while IFS= read -r -d '' f; do                             #read the list of SampleA
        g=$(echo "$f" | sed "s/pleA/pleB/g")               #calculate path to SampleB
        if [[ -f "$g" ]]; then                             #check SampleB exists
                echo "$f" | sed "s/.*pleA\.//g"            #print sample No
                echo "Type transcript_id SampleA SampleB"  #print header
                                                           #do the join
                join -j 12 -o 1.3 -o 1.12 -o 1.18 -o2.18 <(sort -k 12 "$f") <(sort -k 12 "$g") | awk 'NF==4'
        fi   | sed 's/[;"]//g'| column -t                  #make it pretty
done < <(find . -type f -iname "*SampleA*" -print0)        #NULL separated list of SampleA

Answer

您可以只刪除join文件，然後awk刪除那些包含的文件NF==4，因為只有您感興趣的行才有第 18 個欄位。所有其他行將只有 2 個字段

也對計算的路徑做出某些假設SampleB，但是您可以修改它以適應...

while IFS= read -r -d '' f; do                             #read the list of SampleA
        g=$(echo "$f" | sed "s/pleA/pleB/g")               #calculate path to SampleB
        if [[ -f "$g" ]]; then                             #check SampleB exists
                echo "$f" | sed "s/.*pleA\.//g"            #print sample No
                echo "Type transcript_id SampleA SampleB"  #print header
                                                           #do the join
                join -j 12 -o 1.3 -o 1.12 -o 1.18 -o2.18 <(sort -k 12 "$f") <(sort -k 12 "$g") | awk 'NF==4'
        fi   | sed 's/[;"]//g'| column -t                  #make it pretty
done < <(find . -type f -iname "*SampleA*" -print0)        #NULL separated list of SampleA

Question 3

嘗試使用以下命令

步驟1

awk '$3 ~ /transcript/{print $0}' file1|awk '{print $3,substr($12,2,12),substr($NF,2,8)}' > out1

第2步

awk '$3 == "transcript" {print substr($NF,2,8)}' file2  > out2

步驟3

paste out out1.txt | awk 'BEGIN{print "Type        transcript_id      SampleA      SampleB"}{print $0}'



Output

Type       transcript_id SampleA    SampleB
transcript MSTRG.7542.2 0.000000    1.000000
transcript MSTRG.7542.6 0.000000    3.000000
transcript MSTRG.7542.5 0.000000    0.000000

Answer

嘗試使用以下命令

步驟1

awk '$3 ~ /transcript/{print $0}' file1|awk '{print $3,substr($12,2,12),substr($NF,2,8)}' > out1

第2步

awk '$3 == "transcript" {print substr($NF,2,8)}' file2  > out2

步驟3

paste out out1.txt | awk 'BEGIN{print "Type        transcript_id      SampleA      SampleB"}{print $0}'



Output

Type       transcript_id SampleA    SampleB
transcript MSTRG.7542.2 0.000000    1.000000
transcript MSTRG.7542.6 0.000000    3.000000
transcript MSTRG.7542.5 0.000000    0.000000

如何使用 awk 提取所需的列並建立新文件？

答案1

答案2

答案3

相關內容