He configurado un entorno hadoop 1.2.1 en centos 6. También uso nfs-proxy que monta ndfs en el sistema de archivos local para poder acceder a los archivos dentro de hdfs localmente. Funciona perfectamente hasta hoy, me pidieron que integrara la autenticación de usuario con LDAP. Por alguna razón, tengo que cambiar el uid de algún usuario de Unix existente y almacenar ese nuevo uid en LDAP.
Después del cambio, hdfs parece no poder obtener el nuevo uid del usuario, es decir, cuando coloco un nuevo archivo en hdfs, todavía usa el antiguo uid para almacenar el archivo en hdfs. Lo sé porque cuando verifico el uid del nuevo archivo desde el punto de montaje local de hdfs, muestra el uid anterior. Y no puedo acceder al archivo en el sistema de archivos local porque pertenece a un usuario diferente.
Probé reiniciar hadoop pero no tuvo efecto. ¿Cualquier sugerencia?
Respuesta1
debe asegurarse de estar utilizando el usuario LDAP. Verifique idsi realmente es el usuario LDAP y no un usuario local al escribir el archivo.
Por la forma en que escribes, estás intentando escribir desde un servidor diferente. Si es así, ¿esta máquina también usa LDAP o está usando una cuenta local? porque este usuario usará su propio uid al escribir el archivo.
cosas que puedes comprobar:
/etc/nsswitch.confpara el orden en que una máquina usa archivos o ldap para recuperar información de la cuentagetent passwdpara comprobar si conoce al usuario ldap- Mi experiencia personal es evitar tener un usuario ldap y un usuario local con el mismo nombre. Esto causa todo tipo de problemas incómodos con UID/directorios de inicio/etc. Entonces, si tiene usuarios locales con el mismo nombre de usuario en ldap, puede considerar eliminarlos de la máquina local. Cuando migro un servidor a la autenticación LDAP, siempre elimino los usuarios locales.
Respuesta2
Desmonte el que montó en su máquina localmente y reinicie el servicio HDFS.
Comience a montar el ndfs en el sistema de archivos local para que pueda acceder localmente a los archivos dentro de hdfs.