☰

Запустите Apache Spark в VirtualBox

tag-icon • tag-icon virtualbox
Запустите Apache Spark в VirtualBox

Я пытаюсь запустить Apache Spark Master и Worker внутри Virtual Box (Ubuntu) и подключиться к нему из своего приложения, но, к сожалению, я постоянно получаю следующее:

akka.remote.EndpointAssociationException: Association failed

Я настроил перенаправление портов с виртуальной машины на хост-машину на 7077, 6066и 8080теперь могу подключиться по Telnet со своей хост-машины Windows 127.0.0.1 7077и подключиться.

Я запускаю spark master и spark worker с помощью следующих команд:

export SPARK_LOCAL_IP=127.0.0.1
export SPARK_MASTER_IP=127.0.0.1

bash sbin/spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --ip 127.0.0.1 --port 7077 --webui-port 8080
bash bin/spark-class org.apache.spark.deploy.worker.Worker spark://127.0.0.1:7077 -c 2 -m 2000m -h 127.0.0.1

В веб-интерфейсе я вижуSpark Master at spark://127.0.0.1:7077

Есть идеи? Спасибо.

решение1

Для подключения к Spark Master вам необходимо определить Bridge-подключение на VM. Теперь ваше подключение NAT, поэтому вы не можете подключиться.https://www.virtualbox.org/manual/ch06.html#network_bridged

В режиме моста все работает отлично)

Связанный контент