Eu configurei um ambiente hadoop 1.2.1 no centos 6. Eu também uso o nfs-proxy que monta o ndfs no sistema de arquivos local para que eu possa acessar os arquivos dentro do hdfs localmente. Funciona perfeitamente até hoje, me pediram para integrar a autenticação do usuário com o LDAP. Por alguma razão, tenho que alterar o uid de algum usuário Unix existente e armazenar esse novo uid no LDAP.
Após a alteração, o hdfs parece não conseguir obter o novo uid do usuário, ou seja, quando coloco um novo arquivo no hdfs, ele ainda usa o uid antigo para armazenar o arquivo no hdfs. Eu sei disso porque quando verifico o uid do novo arquivo no ponto de montagem local do hdfs, ele mostra o uid antigo. E não consigo acessar o arquivo no sistema de arquivos local, pois ele pertence a um usuário diferente.
Eu testei a reinicialização do hadoop, mas sem efeito. Alguma sugestão?
Responder1
você deve ter certeza de que está usando o usuário LDAP. Verifique idse você é realmente o usuário LDAP e não um usuário local ao gravar o arquivo.
A propósito, você está tentando escrever de um servidor diferente. Em caso afirmativo, esta máquina também usa LDAP ou você está usando uma conta local? porque este usuário usará seu próprio uid ao escrever o arquivo.
coisas que você pode verificar:
/etc/nsswitch.confpara a ordem em que uma máquina usa arquivos ou ldap para recuperar informações da contagetent passwdpara verificar se ele conhece o usuário ldap- minha experiência pessoal é evitar ter um usuário ldap e um usuário local com o mesmo nome. Isso causa todos os tipos de problemas estranhos com UIDs/diretórios iniciais/etc. Portanto, se você tiver usuários locais com o mesmo nome de usuário no ldap, considere removê-los da máquina local. Quando migro um servidor para autenticação LDAP, sempre removo os usuários locais.
Responder2
Desmonte aquele que você montou localmente em sua máquina e reinicie o serviço HDFS.
Comece a montar o ndfs no sistema de arquivos local para que você possa acessar localmente os arquivos dentro do hdfs.