Estamos usando cluster HDP com182 data nodemáquinas:
Versão HDP - 2.6.4 Ambari versão 2.6.1
Notamos o seguinte comportamento nas data nodesmáquinas (acontece em todas data-nodeas máquinas e em todos os discos).
Quando executamos o comando conforme exemplo acima:
ps -eo s,user,cmd | grep ^[RD]
D hdfs du -sk /grid/sdj/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
D hdfs du -sk /grid/sdm/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
R root ps -eo s,user,cmd
Nota - cada disco no data nodearquivo 5.4 T Bytes.
Podemos ver que HDFSestá rodando o "du -sk" nos data nodediscos
Não gostamos disso, porque o significado disso é consumir alta carga de CPU Avrg e às vezes até desempenho ruim.
Entendemos que HDFSé necessário executar o " du -sk" para verificar o espaço em disco,maspor outro lado, seu custo - alta carga média de CPU e às vezes até desempenho ruim.
É possível saber HDFSde alguma forma como desabilitar essa verificação?