私たちはHDPクラスタを使用しています182 data nodeマシン:
HDP バージョン - 2.6.4 Ambari バージョン 2.6.1
マシン上で次の動作が確認されていますdata nodes(すべてのdata-nodeマシンとすべてのディスクで発生します)。
上記の例のようにコマンドを実行すると、
ps -eo s,user,cmd | grep ^[RD]
D hdfs du -sk /grid/sdj/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
D hdfs du -sk /grid/sdm/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
R root ps -eo s,user,cmd
注 - 内の各ディスクdata nodeは です5.4 T Bytes。
ディスクHDFS上で「du -sk」が実行されていることがわかりますdata node
これは好ましくありません。なぜなら、その意味は CPU Avrg の負荷が高くなり、場合によってはパフォーマンスが悪くなるからです。
ディスク容量を確認するにはHDFS「」を実行する必要があることは承知しています。du -skしかし一方、そのコストは、CPU 負荷が平均的に高く、場合によってはパフォーマンスが低下することです。
HDFSこの検証を無効にする方法を何らかの方法で伝えることは可能ですか?