
我們正在使用 HDP 集群182 data node
機器:
HDP 版本 - 2.6.4 Ambari 版本 2.6.1
我們注意到機器上的以下行為data nodes
(它發生在所有data-node
機器和所有磁碟上)。
當我們執行上面的命令:
ps -eo s,user,cmd | grep ^[RD]
D hdfs du -sk /grid/sdj/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
D hdfs du -sk /grid/sdm/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
R root ps -eo s,user,cmd
注意 - 中的每個磁碟data node
都是5.4 T Bytes
.
我們可以看到正在磁碟HDFS
上運行“du -sk”data node
我們不喜歡這樣,因為這意味著消耗高負載 CPU Avrg,有時甚至會導致效能下降。
據我們了解,HDFS
需要運行“ du -sk
”來驗證磁碟空間,但另一方面,其成本 - CPU 平均負載較高,有時甚至效能較差。
是否可以HDFS
透過某種方式告知禁用此驗證?