Как эффективно объединить несколько текстовых файлов и удалить дубликаты?

Question

Я пробовал много вещей, но большинство из них просто застревали или не удаляли дубликаты должным образом. Неважно, отсортирован ли выходной файл или нет

Если file1.txt содержит

a
b
c
d
e
c
d

Если file2.txt содержит

c
d
e
a
f
g
g
h

output.txt должен содержать

a
b
c
d
e
f
g
h

Answer 1

просто используйте sort -u file[12].txt >output.txt. , который сортирует входные данные, удаляя дубликаты.

убедитесь, что ваши файлы имеют формат новой строки Unix (LF \n), а не формат новой строки Dos/Windows (CRLF \r\n); в противном случаеконвертироватьих по команде tr -d $'\r' <filenameили dos2unix filenameприказу.