Estoy trabajando con hadoop y necesito cambiar la cantidad de archivos abiertos ulimit -n. He visto preguntas similares en stackoverflow y en otros lugares y he probado todo lo que hay en esas respuestas, pero todavía no funciona. Estoy trabajando con ubuntu 12.04 LTS. Esto es lo que he hecho:
cambiar los límites en /etc/security/limits.conf, he puesto configuraciones para * y root. También he cambiado los límites a algunos números como 10000y unlimited.
* soft nofile 1513687
* hard nofile 1513687
root soft nofile 1513687
root hard nofile 1513687
También probé la configuración anterior con -en lugar de softy hard. Después de estos cambios, realicé cambios en /etc/pam.d/archivos como:
common-session
common-session-noninterative
login
cron
sshd
su
sudo
He añadido session required pam_limits.soal principio de cada archivo. Reinicié el cuadro en cuestión y la configuración no tuvo efecto.
También descubrí que había archivos dentro /etc/security/limits.d/del directorio para los usuarios hbase mapredy hdfs. También intenté cambiar los límites en estos archivos individuales sin éxito.
También he probado a ponerlo ulimit -S -n unlimiteddentro . /etc/profileNo funcionó.
Finalmente, intenté poner archivos limit nofile unlimited unlimitedinternos /etc/init.d/hadoop*como primera línea. No funcionó.
Sin embargo, una cosa interesante es que no tengo hbase instalado en la caja, pero sí tengo un hbase.confarchivo dentro /etc/security/limits.d/del directorio. La configuración de este archivo se refleja con ulimit -n. Pero las configuraciones de hdfs.confy mapred.confno se reflejan. Lo que sugiere que algo está sobrescribiendo la configuración de hdfsy mapred.
Supongo que probé todo lo que la gente sugirió en varios foros. ¿Hay algo más que me haya perdido o haya hecho incorrectamente?
Estoy usando CDH 4.4.0como mi distribución de hadoop.
Respuesta1
¿Reiniciaste? Descubrí que los cambios en /etc/security/limits.conf solo funcionan para mí después de reiniciar.