¿Cómo usar awk para extraer las columnas requeridas y crear un nuevo archivo?

Question 1

Necesitará extraer los registros relevantes de cada archivo y escribir el resultado en dos nuevos archivos temporales (posiblemente usando awk), posiblemente ordenándolos (con sort) al mismo tiempo (los archivos de muestra dicen que están ordenados, pero tal vez no en el orden correcto). llave). A continuación se muestra un ejemplo del procesamiento de uno de los archivos:

awk '$3 == "transcript" {printf("%s %s %s ", $3, $10, $12, $18);}' SampleA.GRCh38.gtf | sort -k 2 > tf1

Luego puede usar joinpara fusionar los dos archivos temporales/intermedios generados por awkpara que cada registro tenga las dos columnas finales de cada archivo.

A continuación se muestra un ejemplo de un joincomando que podría utilizar:

join -o 1.1,1.2,1.3,2.3 -1 2 -2 2 tf1 tf2

Es posible que desee imprimir una línea de encabezado (por ejemplo, usando el printfcomando) antes de ejecutar joiny reemplazar los espacios en la joinsalida con tabulaciones (por ejemplo, usando sed) o usar otro awkscript para formatear la salida.

A partir de estos ejemplos, debería poder crear un script que procese ambos archivos y produzca el resultado deseado (y limpie los archivos temporales, etc.).

Tenga en cuenta que, dependiendo del tamaño de los archivos de datos, es posible que incluso pueda hacer todo en un programa awk(o pythono perl, etc.) (es decir, todos los datos seleccionados de ambos archivos se pueden guardar fácilmente en la memoria a la vez).

Answer

Necesitará extraer los registros relevantes de cada archivo y escribir el resultado en dos nuevos archivos temporales (posiblemente usando awk), posiblemente ordenándolos (con sort) al mismo tiempo (los archivos de muestra dicen que están ordenados, pero tal vez no en el orden correcto). llave). A continuación se muestra un ejemplo del procesamiento de uno de los archivos:

awk '$3 == "transcript" {printf("%s %s %s ", $3, $10, $12, $18);}' SampleA.GRCh38.gtf | sort -k 2 > tf1

Luego puede usar joinpara fusionar los dos archivos temporales/intermedios generados por awkpara que cada registro tenga las dos columnas finales de cada archivo.

A continuación se muestra un ejemplo de un joincomando que podría utilizar:

join -o 1.1,1.2,1.3,2.3 -1 2 -2 2 tf1 tf2

Es posible que desee imprimir una línea de encabezado (por ejemplo, usando el printfcomando) antes de ejecutar joiny reemplazar los espacios en la joinsalida con tabulaciones (por ejemplo, usando sed) o usar otro awkscript para formatear la salida.

A partir de estos ejemplos, debería poder crear un script que procese ambos archivos y produzca el resultado deseado (y limpie los archivos temporales, etc.).

Tenga en cuenta que, dependiendo del tamaño de los archivos de datos, es posible que incluso pueda hacer todo en un programa awk(o pythono perl, etc.) (es decir, todos los datos seleccionados de ambos archivos se pueden guardar fácilmente en la memoria a la vez).

Question 2

Puede solo joinlos archivos y luego awkeliminar aquellos que tienen, NF==4ya que solo las líneas que le interesan tienen un campo 18. Todas las demás líneas solo tendrán 2 campos.

También hago ciertas suposiciones sobre el cálculo de la ruta hacia SampleB, sin embargo, puede modificarla para que se adapte...

while IFS= read -r -d '' f; do                             #read the list of SampleA
        g=$(echo "$f" | sed "s/pleA/pleB/g")               #calculate path to SampleB
        if [[ -f "$g" ]]; then                             #check SampleB exists
                echo "$f" | sed "s/.*pleA\.//g"            #print sample No
                echo "Type transcript_id SampleA SampleB"  #print header
                                                           #do the join
                join -j 12 -o 1.3 -o 1.12 -o 1.18 -o2.18 <(sort -k 12 "$f") <(sort -k 12 "$g") | awk 'NF==4'
        fi   | sed 's/[;"]//g'| column -t                  #make it pretty
done < <(find . -type f -iname "*SampleA*" -print0)        #NULL separated list of SampleA

Answer

Puede solo joinlos archivos y luego awkeliminar aquellos que tienen, NF==4ya que solo las líneas que le interesan tienen un campo 18. Todas las demás líneas solo tendrán 2 campos.

También hago ciertas suposiciones sobre el cálculo de la ruta hacia SampleB, sin embargo, puede modificarla para que se adapte...

while IFS= read -r -d '' f; do                             #read the list of SampleA
        g=$(echo "$f" | sed "s/pleA/pleB/g")               #calculate path to SampleB
        if [[ -f "$g" ]]; then                             #check SampleB exists
                echo "$f" | sed "s/.*pleA\.//g"            #print sample No
                echo "Type transcript_id SampleA SampleB"  #print header
                                                           #do the join
                join -j 12 -o 1.3 -o 1.12 -o 1.18 -o2.18 <(sort -k 12 "$f") <(sort -k 12 "$g") | awk 'NF==4'
        fi   | sed 's/[;"]//g'| column -t                  #make it pretty
done < <(find . -type f -iname "*SampleA*" -print0)        #NULL separated list of SampleA

Question 3

Probado con el comando de abajo

Paso 1

awk '$3 ~ /transcript/{print $0}' file1|awk '{print $3,substr($12,2,12),substr($NF,2,8)}' > out1

PASO 2

awk '$3 == "transcript" {print substr($NF,2,8)}' file2  > out2

PASO 3

paste out out1.txt | awk 'BEGIN{print "Type        transcript_id      SampleA      SampleB"}{print $0}'



Output

Type       transcript_id SampleA    SampleB
transcript MSTRG.7542.2 0.000000    1.000000
transcript MSTRG.7542.6 0.000000    3.000000
transcript MSTRG.7542.5 0.000000    0.000000

Answer

Probado con el comando de abajo

Paso 1

awk '$3 ~ /transcript/{print $0}' file1|awk '{print $3,substr($12,2,12),substr($NF,2,8)}' > out1

PASO 2

awk '$3 == "transcript" {print substr($NF,2,8)}' file2  > out2

PASO 3

paste out out1.txt | awk 'BEGIN{print "Type        transcript_id      SampleA      SampleB"}{print $0}'



Output

Type       transcript_id SampleA    SampleB
transcript MSTRG.7542.2 0.000000    1.000000
transcript MSTRG.7542.6 0.000000    3.000000
transcript MSTRG.7542.5 0.000000    0.000000

¿Cómo usar awk para extraer las columnas requeridas y crear un nuevo archivo?

Respuesta1

Respuesta2

Respuesta3

información relacionada