☰

AWS EMR에 패키지 설치

tag-icon • tag-icon amazon-web-services amazon-emr
AWS EMR에 패키지 설치

설치하려고 하는데구글 팅크AWS EMR 5.28.0에서는 별 행운이 없었습니다. AWS EMR 이미지는 본질적으로 다소 이상한 것 같습니다. 어떤 아이디어가 있나요?

sc.install_pypi_package("tink")

오류: bazel 실행 파일을 찾을 수 없습니다. Tink Python 패키지를 컴파일하려면 bazel을 설치하세요.

 sudo yum install -y bazel3

요구사항: java-11-openjdk-devel

sudo yum install java-11-openjdk-devel

사용 가능한 패키지 java-11-openjdk-devel이 없습니다.

 sudo yum install amazon-linux-extras

amazon-linux-extras 패키지가 없습니다.

답변1

Linux AMI(AWS EMR 5.28.0의 기반)는 작업하기가 어렵습니다. 사용 가능한 리포지토리 중 Java, Bezel이 없으며 쉽게 사용할 수 있는 Tinker가 훨씬 적습니다(Macos, Ubuntu 또는 심지어 쉬운 ECR Python 이미지와 비교).

Java 11jdk를 얻으려면 Oracle로 이동하여 Linux x64 RPM 패키지를 찾아야 합니다. 안타깝게도 해당 사이트에 로그인해야 wget/curl을 사용할 수 없습니다.

설치하려면 다음을 수행해야 합니다.

 sudo yum localinstall jdk-11.0.12_linux-x64_bin.rpm

Bazel의 경우 Github에서 패키지를 가져와야 합니다.https://github.com/bazelbuild/. 최신 것을 선택하고 설치하세요

./bazel-4.1.0-installer-linux-x86_64.sh

그러면 pip는 잘 작동합니다

sc.install_pypi_package("tink")

산출:

Successfully built tink
Installing collected packages: protobuf, absl-py, tink
Successfully installed absl-py-0.13.0 protobuf-3.17.3 tink-1.6.1

관련 정보