Remover duplicatas em um arquivo

Question

Eu tenho o seguinte arquivo.txt

Plummet
Cherist the day
--
The Transatlatins                <-----------duplicate
Mysteriosa                       <-----------duplicate
--
Angel City;Lara McAllen
Love me right                  
--
The Transatlatins
Mysteriosa                     

Como posso excluir duplicatas sem alterar o pedido? e os espaços de linha, já tentei sortmas mudo a ordem e uniqnão levo as duplicatas.

resultado esperado:

Plummet
Cherist the day
--
Angel City;Lara McAllen
Love me right               
--
The Transatlatins
Mysteriosa                 

Answer 1

Supondoque o arquivo deve estar no formato

field1\n
field2\n
\n
field1\n
field2\n
\n

ou seja, a última linha do arquivo de amostra deve ser lida

Mysteriosa                  Mysteriosa

então isso deve funcionar, desde que haja uma nova linha final \napós a última entrada

sed '$!N;$!N;s/\n/:/g' file | nl -s"|" | sort -t '|' -k2 | awk -F"|" '!_[$2]++' | sort -n | sed -e 's/.*|//' -e 's/:/\n/g'

Answer 2

Comando:

awk '{if (!seen[$1,$2]++)print $0}' filename