我有大約 100 個 66 GB 巨大的“log.txt”（log1.txt、log2.txt、log3.txt 等）文件，我需要搜尋不同的字串。
我在一個文字檔案中包含所有 42.000 個字串。
現在，我正在使用 grep ( grep -F -f strings.txt log.txt)，但搜尋一個 log.txt 大約需要 50 分鐘。
您知道搜尋所有文件的更快方法嗎？搜尋完所有 100 個檔案後，將產生一組新的 100 個檔案用於搜尋。
答案1
冒著被指控產品促銷的危險，但如果這個問題是結構性的（如日常耗時），我會建議彈性搜尋。
我不知道他們是如何做到的，但我每天都會導入 80GB 文件，彈性文件會從 in 返回答案毫秒。
免責聲明：我與該公司沒有任何關係，不會以任何方式受益。只是他們產品的快樂用戶。