Мы используем кластер HDP с182 data nodeмашины:
Версия HDP - 2.6.4 Версия Ambari 2.6.1
Мы замечаем следующее поведение на data nodesмашинах (это происходит на всех data-nodeмашинах и на всех дисках).
Когда мы выполняем команду, как в примере выше:
ps -eo s,user,cmd | grep ^[RD]
D hdfs du -sk /grid/sdj/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
D hdfs du -sk /grid/sdm/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
R root ps -eo s,user,cmd
Примечание. Каждый диск в файле — data nodeэто 5.4 T Bytes.
Мы видим, что на дисках HDFSзапущен "du -sk"data node
Нам это не нравится, так как это приводит к высокой нагрузке на ЦП, а иногда и к снижению производительности.
Мы понимаем, что HDFSнеобходимо запустить " du -sk" для проверки дискового пространства,нос другой стороны, его цена - высокая средняя загрузка процессора и иногда даже низкая производительность.
Можно ли HDFSкак-то отключить эту проверку?