☰

Script Bash para manipular um arquivo CSV

tag-icon • tag-icon bash scripting
Script Bash para manipular um arquivo CSV

Eu tenho o seguinte arquivo csv:

    "V1","V2","V3","V4","V5","V6","V7","V8","V9","V10","Class"
65,Female,0.7,0.1,187,16,18,6.8,3.3,0.9,1
62,Male,10.9,5.5,699,64,100,7.5,3.2,0.74,1
62,Male,7.3,4.1,490,60,68,7,3.3,0.89,1
58,Male,1,0.4,182,14,20,6.8,3.4,1,1
72,Male,3.9,2,195,27,59,7.3,2.4,0.4,1
46,Male,1.8,0.7,208,19,14,7.6,4.4,1.3,1

Estou interessado apenas nas colunas V1:idade, V2:sexo, V8:nota1, V9:nota2.

Eu gostaria de criar um script bash que irá gerar os dados onde V9 é igual a 3 e classificar a saída por sexo, mostrando primeiro os dados Femininos.

Sou 100% iniciante em scripts bash e embora saiba como obter essa saída do shell, só consegui fazer isso quando se trata de comandos de script bash:

#!/usr/bin/env bash

INPUT=./phpOJxGL9.csv
OLDIFS=$IFS
IFS=','
[ ! -f $INPUT ] && { echo "$INPUT file not found"; exit 99; }

echo Grade2 = 3
echo Age Sex Grade2 Grade1 
echo '************************'


while read V1 V2 V3 V4 V5 V6 V7 V8 V9 V10

do
      if [ $V9 -eg "3" ];
      then
      cut -d',' -f1,2,8,9 | sort -k2 -t','
      fi
      

done < $INPUT
IFS=$OLDIFS

A saída deve ser mais ou menos assim:

insira a descrição da imagem aqui

Alguém pode ajudar?

Responder1

Seu próprio script bash é um bom começo. Mas usar ferramentas adequadas pode facilitar a vida. Aqui está um exemplo: Sua entrada de amostra não possui v9=3, então usei v9>=3 apenas para demonstrar o comando.

tail -n+2 your-input | awk -F, '($9>=3){print $1, $2, $8, $9}' | sort -k2 | awk 'OFS="," {print $1,$2,$3,$4}'

65,Female,6.8,3.3
58,Male,6.8,3.4
62,Male,7,3.3
62,Male,7.5,3.2
46,Male,7.6,4.4

Explicação: tail -n+2 simplesmente remove a linha do título.

observe que devemos ter separação de tabulação ou espaço antes de usar a opção de classificação de coluna

o segundo awk é substituir espaços por vírgulas

Responder2

Seu script já está quase finalizado. A única coisa que resta é verificar uma condição if if V9is equal to 3. Para mostrar primeiro os dados femininos, sugiro colocar o loop while em uma função que requer o gênero como primeiro argumento e, em seguida, executar a função uma vez para cada gênero.

INPUT=phpOJxGL9.csv
OLDIFS=$IFS
IFS=','

[ ! -f $INPUT ] && { echo "$INPUT file not found"; exit 99; }

function readCsv {
    while read V1 V2 V3 V4 V5 V6 V7 V8 V9 V10
    do
        requiredGender="$1"

        if [[ "$V2" == "$requiredGender" ]]
        then
            if [[ "$V9" == "3" ]]
            then
                echo "$V1,$V2,$V8,$V9"
            fi
        fi
    done < $INPUT
}

echo Grade2 = 3
echo Age Sex Grade2 Grade1 
echo '************************'

echo
echo "Women"
echo "--------------"

readCsv "Female"

echo
echo "Men"
echo "--------------"

readCsv "Male"

IFS=$OLDIFS

Você terá que tornar o script executável para executá-lo:

chmod +x script.sh
./script.sh

Lembre-se de que o arquivo csv fornecido acima não contém uma única coluna onde V9seja igual a 3, portanto, a execução do script acima não geraria nenhum dado. Eu adicionei essas duas colunas de amostra:

50,Female,,,,,,1,3,,
50,Male,,,,,,1,3,,

e esta é a saída do script:

Grade2 = 3
Age Sex Grade2 Grade1
************************

Women
--------------
50,Female,1,3

Men
--------------
50,Male,1,3

informação relacionada