Estou trabalhando com hadoop e preciso alterar o número de arquivos abertos ulimit -n. Já vi perguntas semelhantes no stackoverflow e em outros lugares e tentei de tudo nessas respostas, mas ainda não funciona. Estou trabalhando com ubuntu 12.04 LTS. Aqui está o que eu fiz:
alterar limites /etc/security/limits.conf, coloquei configurações para * e root. Também alterei os limites para alguns números como 10000e unlimited.
* soft nofile 1513687
* hard nofile 1513687
root soft nofile 1513687
root hard nofile 1513687
Eu também tentei a configuração acima com -em vez de softe hard. Após essas alterações, fiz alterações em /etc/pam.d/arquivos como:
common-session
common-session-noninterative
login
cron
sshd
su
sudo
eu adicionei session required pam_limits.sono início de cada arquivo. Reiniciei a caixa em questão e as configurações não surtiram efeito.
Também descobri que havia arquivos dentro do /etc/security/limits.d/diretório para os usuários hbase maprede hdfs. Também tentei alterar os limites nesses arquivos individuais, sem sucesso.
Eu tentei colocar ulimit -S -n unlimiteddentro /etc/profiletambém. Não funcionou.
Finalmente, tentei colocar arquivos limit nofile unlimited unlimitedinternos /etc/init.d/hadoop*como primeira linha. Não funcionou.
Uma coisa interessante é que não tenho o hbase instalado na caixa, mas tenho um hbase.confarquivo dentro /etc/security/limits.d/do diretório. As configurações neste arquivo são refletidas com ulimit -n. Mas as configurações de hdfs.confe mapred.confnão são refletidas. O que sugere que algo está substituindo as configurações de hdfse mapred.
Acho que tentei tudo o que as pessoas sugeriram em vários fóruns. Há mais alguma coisa que eu possa ter perdido ou feito incorretamente?
Estou usando CDH 4.4.0como minha distribuição hadoop.
Responder1
Você reiniciou? Descobri que as alterações em /etc/security/limits.conf só funcionam para mim após a reinicialização.