☰

가상 상자에서 Apache Spark 실행

tag-icon • tag-icon virtualbox
가상 상자에서 Apache Spark 실행

가상 상자(우분투) 내에서 Apache Spark 마스터 및 작업자를 실행하고 내 앱에서 연결하려고 시도하지만 불행히도 계속해서 다음과 같은 결과가 나타납니다.

akka.remote.EndpointAssociationException: Association failed

7077의 가상 머신에서 호스트 머신으로의 포트 리디렉션 6066을 구성했으며 8080호스트 Windows 머신에서 텔넷을 통해 127.0.0.1 7077연결할 수 있습니다.

다음 명령을 사용하여 Spark 마스터와 Spark 작업자를 실행합니다.

export SPARK_LOCAL_IP=127.0.0.1
export SPARK_MASTER_IP=127.0.0.1

bash sbin/spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --ip 127.0.0.1 --port 7077 --webui-port 8080
bash bin/spark-class org.apache.spark.deploy.worker.Worker spark://127.0.0.1:7077 -c 2 -m 2000m -h 127.0.0.1

웹 UI에서 나는Spark Master at spark://127.0.0.1:7077

어떤 아이디어가 있나요? 감사해요.

답변1

Spark Master에 연결하려면 VM에서 Bridge 연결을 정의해야 합니다. 이제 연결 NAT가 연결되지 않는 이유입니다.https://www.virtualbox.org/manual/ch06.html#network_bridged

브리지 모드에서는 모든 것이 잘 작동합니다)

관련 정보