HDFS +如何停用資料節點磁碟上的「du -sk」驗證

HDFS +如何停用資料節點磁碟上的「du -sk」驗證

我們正在使用 HDP 集群182 data node機器:

HDP 版本 - 2.6.4 Ambari 版本 2.6.1

我們注意到機器上的以下行為data nodes(它發生在所有data-node機器和所有磁碟上)。

當我們執行上面的命令:

ps -eo s,user,cmd | grep ^[RD]
D hdfs     du -sk /grid/sdj/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
D hdfs     du -sk /grid/sdm/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
R root     ps -eo s,user,cmd

注意 - 中的每個磁碟data node都是5.4 T Bytes.

我們可以看到正在磁碟HDFS上運行“du -sk”data node

我們不喜歡這樣,因為這意味著消耗高負載 CPU Avrg,有時甚至會導致效能下降。

據我們了解,HDFS需要運行“ du -sk”來驗證磁碟空間,另一方面,其成本 - CPU 平均負載較高,有時甚至效能較差。

是否可以HDFS透過某種方式告知禁用此驗證?

相關內容