Ich versuche, von einer Azure HDInsight Cluster-VM aus auf den AWS S3-Bucket zuzugreifen. Ich habe neue Schlüssel generiert und zu .aws/credentials hinzugefügt. „aws s3 ls“ funktioniert in der Azure-VM einwandfrei. Wenn ich hadoop distcp ausführe oder eine S3-Datei in Spark-Shell lese, erhalte ich die Fehlermeldung 403 „Die von Ihnen angegebene AWS-Zugriffsschlüssel-ID existiert nicht in unseren Aufzeichnungen.“. Ich habe versucht, AWS_SESSION_TOKEN, AWS_ACCESS_KEY_ID und AWS_SECRET_ACCESS_KEY zu exportieren, aber ohne Erfolg. Bitte helfen Sie mir, dieses Problem zu lösen.
Antwort1
Ich habe eine Lösung für dieses Problem gefunden. Ich habe die folgenden Eigenschaften in core-site.xml hinzugefügt.
Eigenschaft1:
Name: fs.s3a.aws.credentials.provider
Wert: org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider
Eigenschaft2:
Name: fs.s3a.access.key
Wert: XXXXXXXXX
Eigenschaft3:
Name: fs.s3a.secret.key
Wert: XXXXXXX
Eigenschaft4:
Name:fs.s3a.session.token
Wert: XXXXX
Zunächst habe ich versucht, von Spark-Shell aus auf S3 zuzugreifen, ohne die Eigenschaft „fs.s3a.aws.credentials.provider“