Como posso remover linhas repetidas levando em consideração o texto de apenas uma coluna?

Question

Eu tenho o seguinte arquivo:

ICR1 +
ICR1+1+3199 +
ICR1+2526+2828 +
IRT1 +
IRT1+1+1489 +
IRT1+713+937 +
LSR1 -
LSR1+1+1175 -
LSR1+366+638 -
NME1 +
NME1+1+340 +
NME1+2+118 +
PWR1 -
PWR1+1+941 -
PWR1+724+939 -
Q0017 -
Q0017+1+162 -
Q0020 -
Q0020+1370+1513 -
Q0020+1+440 -

A primeira e a segunda colunas são separadas por tabulações. Eu preciso ter o seguinte:

ICR1 +
IRT1 +
LSR1 -
NME1 +
PWR1 -
Q0017 -
Q0020 -

Tentei usar o awk com o separador de campos "+", mas também apagou o + da segunda coluna...

Answer 1

Você pode definir o separador de campo do awk como espaço em branco ou +e, em seguida, fazer a desduplicação clássica baseada em array associativo:

$ awk -F'[ \t+]' '!seen[$1]++' file
ICR1 +
IRT1 +
LSR1 -
NME1 +
PWR1 -
Q0017 -
Q0020 -

Answer 2

Talvez eu tenha entendido mal o problema, mas isso parece funcionar:

grep -v '+.' file

Saída:

ICR1 +
IRT1 +
LSR1 -
NME1 +
PWR1 -
Q0017 -
Q0020 -

Answer 3

Eu consegui o mesmo usando sedo comando

sed -n '/^.\{1,5\} .$/p' filename

saída

ICR1 +
IRT1 +
LSR1 -
NME1 +
PWR1 -
Q0017 -
Q0020 -

Answer 4

UsandoMoleiro:

mlr --tsv --implicit-csv-header --headerless-csv-output \
    put -S '$1=gsub($1,"[+].+$","")' then uniq -a inputfile

e a saída é:

ICR1    +
IRT1    +
LSR1    -
NME1    +
PWR1    -
Q0017   -
Q0020   -