Wie kann man mehrere Textdateien kombinieren und Duplikate effektiv entfernen?

Question

Ich habe viele Dinge ausprobiert, aber die meisten davon blieben hängen oder entfernten die Duplikate nicht richtig. Es spielt keine Rolle, ob die Ausgabedatei sortiert ist oder nicht

Wenn file1.txt enthält

a
b
c
d
e
c
d

Wenn file2.txt enthält

c
d
e
a
f
g
g
h

output.txt sollte enthalten

a
b
c
d
e
f
g
h

Answer 1

Verwenden Sie einfach sort -u file[12].txt >output.txt., das die Eingabe sortiert und dabei Duplikate entfernt.

Stellen Sie sicher, dass Ihre Dateien im Unix-Format (LF \n) und nicht im Dos/Windows-Format (CRLF \r\n) vorliegen. AndernfallsKonvertierensie durch tr -d $'\r' <filenameoder dos2unix filenameBefehl.