우리는 HDP 클러스터를 사용하고 있습니다.182 data node기계:
HDP 버전 - 2.6.4 Ambari 버전 2.6.1
머신 에서 다음 동작을 확인합니다 (모든 머신과 모든 디스크에서 data nodes발생함 ).data-node
위의 예와 같이 명령을 수행하면 다음과 같습니다.
ps -eo s,user,cmd | grep ^[RD]
D hdfs du -sk /grid/sdj/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
D hdfs du -sk /grid/sdm/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
R root ps -eo s,user,cmd
참고 - 의 각 디스크 data node는 입니다 5.4 T Bytes.
디스크 HDFS에서 "du -sk"가 실행되고 있음 을 알 수 있습니다.data node
우리는 이것을 좋아하지 않습니다. 그 의미는 CPU 평균 부하가 높고 때로는 성능이 좋지 않기 때문입니다.
디스크 공간을 확인하려면 HDFS" "을(를) 실행해야 한다는 점을 이해하고 있습니다 .du -sk하지만반면에 비용은 평균 CPU 부하가 높고 때로는 성능이 저하되는 경우도 있습니다.
HDFS이 확인을 비활성화하는 방법을 알 수 있습니까 ?