매우 큰 텍스트 파일에서 문자열 찾기

Question

나는 다른 문자열을 검색해야 하는 약 100개의 66GB의 거대한 "log.txt"(log1.txt,log2.txt,log3.txt 등) 파일을 가지고 있습니다.

텍스트 파일에 42.000개의 문자열이 모두 있습니다.

지금은 grep( grep -F -f strings.txt log.txt)을 사용하고 있는데 log.txt 하나를 검색하는데 50분 정도 소요됩니다.

모든 파일을 검색하는 더 빠른 방법을 알고 계십니까? 100개의 파일을 모두 검색한 후 검색을 위해 새로운 100개의 파일 세트가 생성됩니다.

Answer 1

상품홍보로 비난받을 위험이 있지만, 이 문제가 구조적(일상적으로 시간이 많이 걸리는 문제)이라면 추천하고 싶습니다.엘라스틱서치.

어떻게 하는지는 모르겠지만 매일 80GB 파일을 가져와 Elastic이 다음 위치에서 답변을 반환하도록 했습니다.밀리초.

면책 조항: 저는 해당 회사와 관련이 없으며 어떤 식으로든 이익을 얻지 않습니다. 단지 그들의 제품을 사용하는 행복한 사용자일 뿐입니다.