Ich arbeite mit Hadoop und muss die Anzahl der geöffneten Dateien ändern ulimit -n. Ich habe ähnliche Fragen auf Stackoverflow und anderswo gesehen und alles in diesen Antworten versucht, aber es funktioniert immer noch nicht. Ich arbeite mit ubuntu 12.04 LTS. Folgendes habe ich getan:
Grenzwerte in ändern /etc/security/limits.conf, ich habe Einstellungen für * und vorgenommen root. Ich habe die Grenzwerte auch auf einige Zahlen wie 10000und geändert unlimited.
* soft nofile 1513687
* hard nofile 1513687
root soft nofile 1513687
root hard nofile 1513687
Ich habe auch die obige Einstellung mit -anstelle von softund ausprobiert hard. Nach diesen Änderungen habe ich Änderungen an /etc/pam.d/Dateien wie diesen vorgenommen:
common-session
common-session-noninterative
login
cron
sshd
su
sudo
habe ich an den Anfang jeder Datei angefügt session required pam_limits.so. Habe einen Neustart der betreffenden Box durchgeführt und die Einstellungen wurden nicht übernommen.
Ich habe außerdem festgestellt, dass sich im Verzeichnis Dateien /etc/security/limits.d/für die Benutzer hbase mapredund hdfsbefanden. Ich habe ebenfalls vergeblich versucht, die Grenzwerte in diesen einzelnen Dateien zu ändern.
Ich habe auch versucht, es ulimit -S -n unlimitedhineinzulegen . Es hat nicht funktioniert./etc/profile
Schließlich habe ich versucht, als erste Zeile „Dateien einfügen“ einzugeben limit nofile unlimited unlimited. /etc/init.d/hadoop*Hat nicht funktioniert.
Interessant ist jedoch, dass ich HBase nicht auf der Box installiert habe, aber eine hbase.confDatei im /etc/security/limits.d/Verzeichnis. Die Einstellungen in dieser Datei werden mit wiedergegeben ulimit -n. Aber Einstellungen von hdfs.confund werden nicht wiedergegeben. Das deutet darauf hin, dass etwas die Einstellungen für und mapred.confüberschreibt .hdfsmapred
Ich schätze, ich habe alles versucht, was die Leute in mehreren Foren vorgeschlagen haben. Gibt es sonst noch etwas, das ich möglicherweise übersehen oder falsch gemacht habe?
Ich verwende CDH 4.4.0als meine Hadoop-Distribution.
Antwort1
Haben Sie einen Neustart durchgeführt? Ich habe festgestellt, dass die Änderungen in /etc/security/limits.conf bei mir nur nach einem Neustart funktionieren.