Ich habe etwa 100 66 Gigabyte große „log.txt“-Dateien (log1.txt, log2.txt, log3.txt usw.), die ich nach verschiedenen Zeichenfolgen durchsuchen muss.
Ich habe alle 42.000 Zeichenfolgen in einer Textdatei.
Im Moment verwende ich grep ( grep -F -f strings.txt log.txt), aber die Suche in einer log.txt dauert etwa 50 Minuten.
Kennen Sie eine schnellere Möglichkeit, alle Dateien zu durchsuchen? Nachdem alle 100 Dateien durchsucht wurden, wird ein neuer Satz von 100 Dateien zur Suche generiert.
Antwort1
Es besteht die Gefahr, dass man Ihnen vorwirft, Produktwerbung zu betreiben, aber wenn dieses Problem strukturell ist (wie täglicher Zeitaufwand), würde ich empfehlenElasticsearch.
Wie sie das machen, weiß ich nicht, aber ich habe täglich 80 GB große Dateien importiert, aus denen Elastic Antworten zurückgibt.Millisekunden.
Haftungsausschluss: Ich bin mit diesem Unternehmen nicht verbunden und profitiere in keiner Weise davon. Ich bin lediglich ein zufriedener Benutzer ihrer Produkte.