☰

¿Cómo crear un nuevo archivo con las columnas requeridas de diferentes archivos múltiples en Linux?

tag-icon • tag-icon linux awk cut join gawk
¿Cómo crear un nuevo archivo con las columnas requeridas de diferentes archivos múltiples en Linux?

Tengo un directorio ballgownen el que hay alrededor de 1000 subdirectorios como nombres de muestra. Cada subdirectorio tiene un archivo t_data.ctab. El nombre del archivo es el mismo en todos los subdirectorios.

ballgown
      |_______TCGA-A2-A0T3-01A
                   |___________ t_data.ctab
      |_______TCGA-A7-A4SA-01A
                   |___________ t_data.ctab
      |_______TCGA-A7-A6VW-01A
                   |___________ t_data.ctab

Como arriba ballgowntiene 1000 subdirectorios. El t_data.ctabarchivo en todos esos 1000 subdirectorios se ve a continuación con columnas:

t_id    chr     strand  start   end     t_name  num_exons       length  gene_id gene_name       cov     FPKM
1       1       -       10060   10614   MSTRG.1.1       1       555     MSTRG.1 .       0.000000        0.000000
2       1       +       11140   30023   MSTRG.10.1      12      3981    MSTRG.10        .       2.052715        0.284182
3       1       -       11694   29342   MSTRG.11.1      8       6356    MSTRG.11        .       0.557588        0.077194
4       1       +       11869   14409   ENST00000456328.2       3       1657    MSTRG.10        DDX11L1 0.000000        0.000000
5       1       +       11937   29347   MSTRG.10.3      12      3544    MSTRG.10        .       0.000000        0.000000
6       1       -       11959   30203   MSTRG.11.2      11      4547    MSTRG.11        .       0.369929        0.051214
7       1       +       12010   13670   ENST00000450305.2       6       632     MSTRG.10        DDX11L1 0.000000        0.000000
8       1       +       12108   26994   MSTRG.10.5      10      5569    MSTRG.10        .       0.057091        0.007904
9       1       +       12804   199997  MSTRG.10.6      12      3567    MSTRG.10        .       0.000000        0.000000
10      1       +       13010   31097   MSTRG.10.7      12      4375    MSTRG.10        .       0.000000        0.000000
11      1       -       13068   26832   MSTRG.11.3      9       5457    MSTRG.11        .       0.995280        0.137788

De todos los t_data.ctabarchivos quiero extraer solo t_nameuna FPKMcolumna y crear un archivo nuevo. En el nuevo archivo, la FPKMcolumna debe ser el nombre de la muestra. Debería verse como a continuación:

t_name         TCGA-A2-A0T3-01A TCGA-A7-A4SA-01A    TCGA-A7-A6VW-01A
MSTRG.1.1              0            0.028181                 0
MSTRG.10.1         0.284182         0.002072             0.046302
MSTRG.11.1         0.077194         0.685535             0.105849
ENST00000456328.2      0            0.307315             0.038961
MSTRG.10.3             0            0.446015             0.009946
MSTRG.11.2         0.051214         0.053577             0.036081
ENST00000450305.2      0            0.110438             0.040319
MSTRG.10.5         0.007904             0                1.430825
MSTRG.10.6             0                0                0.221105
MSTRG.10.7             0            0.199354                 0
MSTRG.11.3         0.137788         0.004792                 0

Si son dos o tres archivos, puedo usar cut-f6,12 en cada archivo y luego unirlos. Pero ahora tengo alrededor de 1000 archivos.

Respuesta1

Pruebe esta forma sencilla:

primero haz:

awk 'FNR==1 { print substr(FILENAME,1,16) >substr(FILENAME,1,16)".tmp" }
     FNR >1 { print $12 > substr(FILENAME,1,16)".tmp" }
     NR==FNR{ print $6  >"first_column.tmp" }' TCGA-A*/t_data.ctab

luego paste, junto con el archivo delimitado por comas (elimine -d,si desea tener Tab en su lugar):

paste -d, *.tmp
t_name,TCGA-A2-A0T3-01A,TCGA-A7-A4SA-01A,TCGA-A7-A6VW-01A
MSTRG.1.1,0.000000,0.00000,0.0000
MSTRG.10.1,0.284182,0.28418,0.2841
MSTRG.11.1,0.077194,0.07719,0.0771
ENST00000456328.2,0.000000,0.00000,0.0000
MSTRG.10.3,0.000000,0.00000,0.0000
MSTRG.11.2,0.051214,0.05121,0.0512
ENST00000450305.2,0.000000,0.00000,0.0000
MSTRG.10.5,0.007904,0.00790,0.0079
MSTRG.10.6,0.000000,0.00000,0.0000
MSTRG.10.7,0.000000,0.00000,0.0000
MSTRG.11.3,0.137788,0.13778,0.1377

Respuesta2

¿Estaría satisfecho con la salida csv?

find ballgown -name t_data.ctab | awk ' {
  F=$0
  print F " started"
  split(F,P,"/")
  FN= P[2]
  TF[FN]=1
  getline < F
  while ((getline < F) > 0) {
    TN[$6]=1
    TV[FN ":" $6] = $NF
  }
  close(F)
  print f " done"
}
END {
  printf("tname")
  for (F in TF) {
    printf(", %s",F)
  }
  print ""
  for (N in TN) {
    printf("%s",N)
    for (F in TF) {
      printf(", %s",TV[F ":" N])
    }
    print ""
  }
}
'

Respuesta3

Dividí el problema en dos operaciones, como se describe en el comentario a la pregunta. Esto es posible ya que la primera columna es exactamente la misma para cada archivo y cada archivo tiene el mismo número de líneas.

Posiciónate en el directorio de vestidos de fiesta:

cd ballgown

Como primer paso, cree un archivo de salida que contenga la primera columna:

cut -f6 TCGA-A7-A6VW-01A/t_data.ctab > out.tab

La mayor parte del trabajo se realiza mediante una combinación de findy perl:

find -iname t_data.ctab -exec perl -i.bak -lane 'if($.==1){$ARGV=~/([-\w]+)\/.*$/;$f=$1} if(1..eof&&($n=$.)){$a[$.]=$F[11];$a[1]=$f;next}; print "$_\t$a[$.-$n]"' {} out.tab \;

Nota:Esta es una acción destructiva; Los archivos originales se conservarán con una .bakextensión agregada.

Versión no destructiva, que hace uso de sponge(también findfue reemplazada por un forbucle):

for F in */t_data.ctab; do perl -lane 'if(1..eof&&($n=$.)){$a[$.]=$F[11];$a[1]=$ARGV=~s/([-\w]+)\/.*$/$1/r;next} print "$_\t$a[$.-$n]"' $F out.tab | sponge out.tab; done;

Respuesta4

Solución totalmente programática, enPHP.

<?php
$filenames = glob('*/t_data.ctab');
foreach($filenames as $k=>$filename) {
    $name = pathinfo($filename)['dirname'] . "\n";
    $file = file($filename);
    foreach ($file as $n => $line) {
        $line = explode("\t", $line);
        if ($n === 0) {
            $line[11] = $name;
        }
        if ($k === 0) {
            $out[$n] = $line[5] . "\t" . $line[11];
        } else {
            $out[$n] = trim($out[$n]) . "\t" . $line[11];
        }
    }
}
file_put_contents('out.tab', $out);

Uso:

  • Posiciónate en el ballgowndirectorio
  • Guarde el archivo con un nombre, digamosscript.php
  • Ejecute el script conphp script.php
  • Encontrarás el resultado en el out.tabarchivo.

Nota:

Déjame saber si necesitas más explicaciones sobre cómo instalar y usar PHP, qué hace el script y cómo modificarlo para una necesidad particular.

Aquí está la misma solución enPitón, ya que el idioma fue mencionado en los comentarios. Esta es la primera vez que escribo Python, así que presenten sugerencias para mejorar.

import os, glob
out = []
for k, filename in enumerate(glob.glob('*/t_data.ctab')):
    with open(filename, 'r') as f:
        file = f.readlines()
        for n, line in enumerate(file):
            line = line.split("\t")
            if n == 0:
                line[11] = os.path.dirname(filename) + "\n"
            if k == 0:
                out.append(line[5] + "\t" + line[11])
            else:
                out[n] = out[n].strip() + "\t" + line[11]
outfile = open('out.tab', 'w')
outfile.write("".join(out))

Mismo enfoque, escrito comoperlaun trazador de líneas:

perl -lane '$a[$n].=($a[$n]?"":$F[5])."\t".($n<1?$ARGV=~s#([-\w]+)\/.*$#$1#r:$F[11]); $n=eof?0:$n+1}{print "$_" for @a' */t_data.ctab

información relacionada