Problema con la clave de acceso de AWS al acceder al depósito s3 en la máquina virtual de Azure

Question

Estoy intentando acceder al depósito AWS s3 desde la máquina virtual del clúster Azure HDInsight. Generé nuevas claves y las agregué a .aws/credentials. "aws s3 ls" funciona bien en Azure VM. Si hago hadoop distcp o leo un archivo s3 en spark-shell, aparece el error 403 "El ID de clave de acceso de AWS que proporcionó no existe en nuestros registros". Intenté exportar AWS_SESSION_TOKEN, AWS_ACCESS_KEY_ID y AWS_SECRET_ACCESS_KEY. pero no hubo suerte. Por favor ayúdeme a resolver esta situación.

Answer 1

Encontré una solución para este problema. Agregué las siguientes propiedades en core-site.xml.

Propiedad1:

Nombre: fs.s3a.aws.credentials.provider

valor: org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider

Propiedad2:

Nombre: fs.s3a.access.key

Valor: XXXXXXXXX

Propiedad3:

Nombre: fs.s3a.secret.key

Valor: XXXXXXX

Propiedad4:

Nombre: fs.s3a.session.token

Valor: XXXXX

Inicialmente estaba intentando acceder a s3 sin la propiedad "fs.s3a.aws.credentials.provider" de Spark-Shell.