Estamos utilizando un clúster HDP con182 data nodemáquinas:
Versión HDP - 2.6.4 Ambari versión 2.6.1
Observamos el siguiente comportamiento en las data nodesmáquinas (sucede en todas data-nodelas máquinas y en todos los discos).
Cuando ejecutamos el comando como en el ejemplo anterior:
ps -eo s,user,cmd | grep ^[RD]
D hdfs du -sk /grid/sdj/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
D hdfs du -sk /grid/sdm/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
R root ps -eo s,user,cmd
Nota: cada disco del archivo data nodees 5.4 T Bytes.
Podemos ver que HDFSse está ejecutando el "du -sk" en los data nodediscos.
No nos gusta esto, porque el significado de esto es consumir una carga promedio de CPU alta y, a veces, incluso un mal rendimiento.
Entendemos que HDFSes necesario ejecutar " du -sk" para verificar el espacio en el disco.peropor otro lado, su costo: alta carga promedio de CPU y, a veces, incluso bajo rendimiento.
¿Es posible saber HDFSde alguna manera desactivar esta verificación?