☰

仮想ボックスでApache Sparkを実行する

tag-icon • tag-icon virtualbox
仮想ボックスでApache Sparkを実行する

仮想ボックス (Ubuntu) 内で Apache Spark マスターとワーカーを実行し、アプリから接続しようとしましたが、残念ながら次のエラーが引き続き表示されます。

akka.remote.EndpointAssociationException: Association failed

仮想マシンからホストマシンへのポート リダイレクトを構成しました7077。ホスト Windows マシンから に Telnet して6066接続できます。8080127.0.0.1 7077

次のコマンドを使用して、Spark マスターと Spark ワーカーを実行します。

export SPARK_LOCAL_IP=127.0.0.1
export SPARK_MASTER_IP=127.0.0.1

bash sbin/spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --ip 127.0.0.1 --port 7077 --webui-port 8080
bash bin/spark-class org.apache.spark.deploy.worker.Worker spark://127.0.0.1:7077 -c 2 -m 2000m -h 127.0.0.1

ウェブUIで見るとSpark Master at spark://127.0.0.1:7077

何かアイデアはありますか？ ありがとうございます。

答え1

Spark Master に接続するには、VM 上でブリッジ接続を定義する必要があります。現在、接続は NAT であるため、接続できません。https://www.virtualbox.org/manual/ch06.html#network_bridged

ブリッジモードではすべて正常に動作します）

関連情報