Wir verwenden HDP-Cluster mit182 data nodeMaschinen:
HDP-Version – 2.6.4 Ambari-Version 2.6.1
data nodesWir stellen auf den Maschinen das folgende Verhalten fest (es tritt auf allen data-nodeMaschinen und auf allen Festplatten auf).
Wenn wir den Befehl wie im obigen Beispiel ausführen:
ps -eo s,user,cmd | grep ^[RD]
D hdfs du -sk /grid/sdj/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
D hdfs du -sk /grid/sdm/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
R root ps -eo s,user,cmd
Hinweis: Jede Festplatte darin data nodeist 5.4 T Bytes.
Wir können sehen, dass auf den Festplatten HDFSdas Programm "du -sk" läuftdata node
Das gefällt uns nicht, weil es eine hohe durchschnittliche CPU-Auslastung und manchmal sogar eine schlechte Leistung zur Folge hat.
Wir verstehen, dass Sie HDFS" " ausführen müssen, du -skum den Speicherplatz zu überprüfen.AberAuf der anderen Seite stehen die Kosten – eine hohe durchschnittliche CPU-Auslastung und manchmal sogar eine schlechte Leistung.
Ist es HDFSirgendwie möglich, diese Überprüfung zu deaktivieren?