Tenho cerca de 100 arquivos "log.txt" enormes de 66 Gigabytes (log1.txt, log2.txt, log3.txt e assim por diante) que preciso procurar por diferentes Strings.
Tenho todas as 42.000 strings em um arquivo de texto.
No momento, estou usando grep ( grep -F -f strings.txt log.txt), mas leva cerca de 50 minutos para pesquisar um log.txt.
Você conhece uma maneira mais rápida de pesquisar todos os arquivos? Após pesquisar todos os 100 arquivos, um novo conjunto de 100 arquivos será gerado para pesquisa.
Responder1
Correndo o risco de ser acusado de promoção de produto, mas se esse problema for estrutural (como no dia a dia) eu recomendariaElasticsearch.
Não sei como eles fazem isso, mas tenho arquivos de 80 GB importados diariamente que o elástico retorna respostas de dentromilissegundos.
Isenção de responsabilidade: não tenho vínculo com essa empresa, não me beneficio de forma alguma. Apenas um usuário feliz de seus produtos.