複数のテキスト ファイルを結合し、重複を効果的に削除するにはどうすればよいですか?

Question

いろいろ試してみましたが、ほとんどが動かなくなったり、重複を適切に削除できなかったりしました。出力ファイルがソートされているかどうかは関係ありません。

file1.txtに

a
b
c
d
e
c
d

file2.txtに

c
d
e
a
f
g
g
h

output.txtには

a
b
c
d
e
f
g
h

Answer 1

sort -u file[12].txt >output.txt重複を削除しながら入力をソートする .を使用するだけです。

ファイルが\nDos/Windowsの改行形式（CRLF）ではなくUnixタイプの改行形式（LF）であることを確認してください\r\n。そうでない場合は変換するtr -d $'\r' <filenameまたは命令によってdos2unix filename。