如何有效合併多個文字檔案並刪除重複項？

Question

我嘗試了很多方法，但大多數都被卡住了或沒有正確刪除重複項。輸出文件是否排序並不重要

如果 file1.txt 包含

a
b
c
d
e
c
d

如果 file2.txt 包含

c
d
e
a
f
g
g
h

輸出.txt 應包含

a
b
c
d
e
f
g
h

Answer 1

只需使用sort -u file[12].txt >output.txt.對輸入進行排序，同時刪除重複項。

確保您的檔案採用 Unix 類型換行格式 (LF \n)，而不是 Dos/Windows 換行符號格式 (CRLF \r\n)；如果不轉變他們通過tr -d $'\r' <filename或dos2unix filename命令。