在虛擬框中運行 apache Spark

在虛擬框中運行 apache Spark

我嘗試在虛擬盒子(ubuntu)內運行 apache Spark master 和worker,並從我的應用程式連接到它,但不幸的是我不斷收到:

akka.remote.EndpointAssociationException: Association failed

我在 , & 上設定了從虛擬機器到主機的連接埠重定向70776066並且8080我可以從我的 Windows 主機進行 telnet127.0.0.1 7077並進行連接。

我使用以下命令運行 Spark Master 和 Spark Worker:

export SPARK_LOCAL_IP=127.0.0.1
export SPARK_MASTER_IP=127.0.0.1

bash sbin/spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --ip 127.0.0.1 --port 7077 --webui-port 8080
bash bin/spark-class org.apache.spark.deploy.worker.Worker spark://127.0.0.1:7077 -c 2 -m 2000m -h 127.0.0.1

在網路使用者介面中我看到Spark Master at spark://127.0.0.1:7077

有任何想法嗎?謝謝。

答案1

要連線到 Spark Master,您需要在虛擬機器上定義 Bridge 連線。現在你的連線是NAT,這就是你無法連線的原因。https://www.virtualbox.org/manual/ch06.html#network_bridged

在橋接模式下一切正常)

相關內容