Como combinar vários arquivos de texto e remover duplicatas de forma eficaz?

Question

Eu tentei muitas coisas, mas a maioria delas travou ou não removeu as duplicatas corretamente. Não importa se o arquivo de saída está classificado ou não

Se file1.txt contiver

a
b
c
d
e
c
d

Se file2.txt contiver

c
d
e
a
f
g
g
h

output.txt deve conter

a
b
c
d
e
f
g
h

Answer 1

basta usar sort -u file[12].txt >output.txt. que classifica a entrada enquanto remove duplicatas.

certifique-se de que seus arquivos estejam no formato de nova linha do tipo Unix (LF \n) em vez do formato de nova linha Dos/Windows (CRLF \r\n); se nãoconvertereles por tr -d $'\r' <filenameou dos2unix filenamecomando.