☰

Analisar saída com larguras de colunas dinâmicas e campos vazios

tag-icon • tag-icon text-processing awk sed google-drive
Analisar saída com larguras de colunas dinâmicas e campos vazios

gdrivepossui um subcomando listque imprime uma lista de arquivos como o exemplo a seguir:

gdrive list

Saída:

Id                                  Name                      Type   Size     Created
1sV3_a1ySV0-jbLxhA8NIEts1KU_aWa-5   info.pdf                  bin    10.0 B   2018-08-27 20:26:20
1h-j3B5OLryp6HkeyTsd9PJaAtKK_GYyl   2018-12-ss-scalettapass   dir             2018-08-27 20:26:19

Estou tentando analisar essa saída usando ferramentas como awke sedsem sucesso.

Os problemas são 'campos' vazios na coluna de tamanho e nas larguras dinâmicas das colunas.

Alguém tem uma idéia de como analisar essa saída?

Responder1

awk pode lidar com dados de largura fixa. Primeiro precisamos determinar as larguras das colunas:

fieldwidths=$(head -n 1 file | grep -Po '\S+\s*' | awk '{printf "%d ", length($0)}')

Este valor é "36 26 7 9 7 "-- o último campo tem mais de 7 caracteres. Vamos arbitrariamente ter 70 caracteres:

fieldwidths=${fieldwidths/% /0}

Agora, vamos ler os dados e transformá-los em CSV:

awk -v FIELDWIDTHS="$fieldwidths" '{
    for (i=1; i<=NF; i++) {
        val = $i
        sub(/ *$/, "", val)
        gsub(/"/, "\"\"", val)
        printf "%s\"%s\"", (i==1 ? "" : ","), val
    }
    print ""
}' file

saídas:

"Id","Name","Type","Size","Created"
"1sV3_a1ySV0-jbLxhA8NIEts1KU_aWa-5","info.pdf","bin","10.0 B","2018-08-27 20:26:20"
"1h-j3B5OLryp6HkeyTsd9PJaAtKK_GYyl","2018-12-ss-scalettapass","dir","","2018-08-27 20:26:19"

A mesma funcionalidade com perl

perl -lne '
    if ($. == 1) {
        @head = ( /(\S+\s*)/g );
        pop @head;
        $patt = "^";
        $patt .= "(.{" . length($_) . "})" for @head;
        $patt .= "(.*)\$";
    }
    print join ",", map {s/"/""/g; s/\s+$//; qq("$_")} (/$patt/o);
' file

Responder2

Você pode fazer isso Perlusando a unpackfunção criando o modelo de descompactação dinamicamente examinando o cabeçalho (1ª linha):

perl -lpe '
    $fmt //= join "", map("A" . length(), /\H+\h+(?=\H)/g), "A*";
    $_ = join ",", map { s/"/""/gr =~ s/(.*)/"$1"/r } unpack $fmt;
' input-file.txt

Explicação:

  • -pfará perlconsumir o arquivo por linha. Cada linha, também conhecida como registro, é chamada de $_. Outro efeito -pé imprimir automaticamente o registro atual antes de buscar o próximo.
  • -lfaz 2 coisas, conjuntosORS = RS = \n
  • A regex /\H+\h+(?=\H)/gdeve buscar todos os campos, exceto o último, e então estes são alimentados map.
  • mapcalcula os comprimentos desses campos e prefixa um "A" para cada um.
  • Em vez de não selecionar o último campo acima, adicionamos um "A*" genérico.
  • Eles são então passados ​​para joino qual os une em uma string usando o delimitador nulo. Portanto, o formato unpack está pronto para uso e não é computado novamente por causa do //=operador que é a defined-orfunção.
  • Agora, armados com o formato de descompactação criado dinamicamente, aplicamos a cada linha, incluindo o cabeçalho.
  • unpackdescompacta uma string, no nosso caso a linha atual, usando o formato fornecido e emite campos descompactados.
  • Esses campos emitidos são então inseridos, mapos quais operam um por um e executam as etapas descritas no { ... }código. No nosso caso, em cada campo fazemos o seguinte: a) duplicar as aspas duplas. b) coloque o campo entre aspas duplas.
  • Depois de mapterminar a edição dos campos, ele os lança para join, que os une usando a vírgula ,para formar um pequeno CSVarquivo.
  • PS:Observe que não tivemos que cortar os espaços em branco nos campos gerados por unpack, porque, unpackfaz isso para você ao usar o Acaractere de formatação (A para ASCII).

Saída:

"Id","Name","Type","Size","Created"
"1sV3_a1ySV0-jbLxhA8NIEts1KU_aWa-5","info.pdf","bin","10.0 B","2018-08-27 20:26:20"
"1h-j3B5OLryp6HkeyTsd9PJaAtKK_GYyl","2018-12-ss-scalettapass","dir","","2018-08-27 20:26:19"

Isso pode ser feito pela sedferramenta, mas precisaria de uma abordagem de duas passagens, em que primeiro, usando a linha de cabeçalho da entrada, geramos um sedscript dinamicamente, que então opera sobre o arquivo de entrada (incluindo também o cabeçalho) para execute a operação desejada, conforme mostrado:

if="input-file.txt"
cmd=$(< "$if" head -n 1 | perl -lne 'print join $/, reverse map { $s += length();qq[s/./\\n/$s] } /\H+\h+(?=\H)/g')
sed -e '
    '"${cmd}"'
    s/"/""/g
    s/[[:blank:]]*\n/","/g
    s/.*/"&"/
' < "$if"

informação relacionada