여러 텍스트 파일을 결합하고 중복 항목을 효과적으로 제거하는 방법은 무엇입니까?

Question

여러 가지를 시도했지만 대부분이 막히거나 중복 항목을 제대로 제거하지 못했습니다. 출력 파일이 정렬되었는지 여부는 중요하지 않습니다.

file1.txt에 다음이 포함된 경우

a
b
c
d
e
c
d

file2.txt에 다음이 포함된 경우

c
d
e
a
f
g
g
h

출력.txt에는 다음이 포함되어야 합니다.

a
b
c
d
e
f
g
h

Answer 1

간단히 사용하십시오 sort -u file[12].txt >output.txt. 중복을 제거하는 동안 입력을 정렬합니다.

파일이 \nDos/Windows 개행 형식(CRLF ) 대신 Unix 유형 개행 형식(LF )인지 확인하세요 \r\n. 그렇지 않다면전환하다tr -d $'\r' <filename또는 명령 으로 그들을 dos2unix filename.