Tengo alrededor de 100 archivos "log.txt" enormes de 66 Gigabytes (log1.txt, log2.txt, log3.txt, etc.) que necesito para buscar diferentes cadenas.
Tengo las 42.000 cadenas en un archivo de texto.
En este momento, estoy usando grep ( grep -F -f strings.txt log.txt), pero me lleva alrededor de 50 minutos buscar un log.txt.
¿Conoce una forma más rápida de buscar todos los archivos? Después de buscar los 100 archivos, se generará un nuevo conjunto de 100 archivos para realizar la búsqueda.
Respuesta1
Corre el peligro de que me acusen de promoción del producto, pero si este problema es estructural (como el que consume tiempo diario) recomendaríabúsqueda elástica.
Cómo lo hacen, no lo sé, pero tengo archivos de 80 GB importados diariamente desde los cuales Elastic devuelve respuestas.milisegundos.
Descargo de responsabilidad: No estoy relacionado con esa empresa, no me beneficio de ninguna manera. Simplemente un usuario feliz de sus productos.