¿Cómo combinar varios archivos de texto y eliminar duplicados de forma eficaz?

Question

Intenté muchas cosas, pero la mayoría simplemente se atascaron o no eliminaron los duplicados correctamente. No importa si el archivo de salida está ordenado o no.

Si el archivo 1.txt contiene

a
b
c
d
e
c
d

Si el archivo 2.txt contiene

c
d
e
a
f
g
g
h

salida.txt debe contener

a
b
c
d
e
f
g
h

Answer 1

simplemente use sort -u file[12].txt >output.txt. que ordena la entrada mientras elimina los duplicados.

asegúrese de que sus archivos estén en formato de nueva línea de tipo Unix (LF \n) en lugar del formato de nueva línea de Dos/Windows (CRLF \r\n); si noconvertirellos por tr -d $'\r' <filenameo dos2unix filenamecomando.