☰

cat und grep mit einer riesigen Datei - Kaputtes Rohr

tag-icon • tag-icon macos grep cat
cat und grep mit einer riesigen Datei - Kaputtes Rohr

Ich versuche, eine riesige 40 GB-Datei mit cat und grep zu durchsuchen. Nach einer gewissen Ausgabe wird mein Prozess beendet.

Irgendeine Idee, was das Problem sein könnte? Ich verwende OSX

[1]    37392 broken pipe  cat output.txt |
       37393 killed       grep --color=auto -C 20 201804090004054066628236

Ich kann bestätigen, dass es an der grepSpeichernutzung liegt. Die Speichernutzung schießt auf fast GB hoch

Antwort1

Sieht so aus, als ob catdie defekte Pipe gemeldet wurde, weil grepsie beendet wurde. Dies würde typischerweise passieren, wenn die Prozesse zu viel Speicher verbrauchten und der OOM-Killer (Out of Memory) ausgelöst wurde. Sie könnten es ohne die versuchennutzloscat:

grep --color=auto -C 20 201804090004054066628236 output.txt

verwandte Informationen