Estou usando wget --spider. Está consumindo muita memória RAM. Como eu poderia limitar o uso de memória RAM do comando wget?
wget --spider -r -c http://www.example.org 2>&1 | grep '^--' | awk '{ print $3 }' | grep -v '\.\(css\|js\|png\|gif\|jpg\|JPG\)$' > example.txt
"-c" não funciona com --spider? Gostaria de colocar os links em exemplo.txt e poder continuar alimentando o txt com os links em outro momento