나는 hadoop으로 작업 중이며 열린 파일 수를 변경해야 합니다 ulimit -n. 나는 stackoverflow 및 다른 곳에서 비슷한 질문을 보았고 해당 답변의 모든 것을 시도했지만 여전히 작동하지 않습니다. 나는 와 함께 일하고 있습니다 ubuntu 12.04 LTS. 내가 한 일은 다음과 같습니다.
의 제한을 변경하고 /etc/security/limits.conf* 및 에 대한 설정을 지정했습니다 root. 또한 10000및 같은 숫자로 제한을 변경했습니다 unlimited.
* soft nofile 1513687
* hard nofile 1513687
root soft nofile 1513687
root hard nofile 1513687
또한 및 -대신 위의 설정을 시도했습니다 . 이러한 변경 후에 다음과 같은 파일을 변경했습니다 .softhard/etc/pam.d/
common-session
common-session-noninterative
login
cron
sshd
su
sudo
session required pam_limits.so각 파일의 시작 부분에 추가했습니다 . 문제의 상자를 다시 시작했는데 설정이 적용되지 않았습니다.
또한 /etc/security/limits.d/사용자 hbase mapred및 hdfs. 나는 이러한 개별 파일의 제한을 변경해 보았지만 소용이 없었습니다.
ulimit -S -n unlimited안에 /etc/profile도 넣어보았습니다 . 그것은 작동하지 않았다.
limit nofile unlimited unlimited마지막으로 파일 내부를 /etc/init.d/hadoop*첫 번째 줄로 넣어 보았습니다 . 작동하지 않았다.
하지만 흥미로운 점 중 하나는 상자에 hbase가 설치되어 있지 않지만 디렉토리 hbase.conf내부에 파일이 있다는 것입니다 /etc/security/limits.d/. 이 파일의 설정은 에 반영됩니다 ulimit -n. 그러나 hdfs.conf및 의 설정은 mapred.conf반영되지 않습니다. 이는 hdfs및 에 대한 설정을 덮어쓰고 있음을 나타냅니다 mapred.
여러 포럼에서 사람들이 제안한 모든 것을 시도해 본 것 같습니다. 제가 놓쳤거나 잘못 수행한 다른 것이 있습니까?
나는 CDH 4.4.0hadoop 배포판으로 사용하고 있습니다.
답변1
재부팅하셨나요? /etc/security/limits.conf의 변경 사항은 재부팅 후에만 작동한다는 것을 알았습니다.