cat e grep com um arquivo enorme - cano quebrado

cat e grep com um arquivo enorme - cano quebrado

Estou tentando cat e grep um arquivo enorme de 40 GB. Depois de alguma saída, meu processo foi encerrado.

Alguma ideia do que pode ser o problema? Usando OSX

[1]    37392 broken pipe  cat output.txt |
       37393 killed       grep --color=auto -C 20 201804090004054066628236

Posso confirmar que é por causa do grepuso de memória. Seu uso de memória dispara para quase GB

Responder1

Parece que catrelatou o cano quebrado porque grepfoi morto. Isso normalmente aconteceria se os processos consumissem muita memória e o assassino OOM (falta de memória) fosse acionado. Você poderia tentar sem oinútilcat:

grep --color=auto -C 20 201804090004054066628236 output.txt

informação relacionada