Ich versuche, Apache Spark Master und Worker in einer Virtual Box (Ubuntu) auszuführen und von meiner App aus eine Verbindung damit herzustellen, aber leider erhalte ich ständig Folgendes:
akka.remote.EndpointAssociationException: Association failed
Ich habe die Portumleitung von der virtuellen Maschine zur Hostmaschine konfiguriert 7077und kann von meiner Windows-Hostmaschine aus per Telnet 6066eine Verbindung herstellen.8080127.0.0.1 7077
Ich führe Spark Master und Spark Worker mit den folgenden Befehlen aus:
export SPARK_LOCAL_IP=127.0.0.1
export SPARK_MASTER_IP=127.0.0.1
bash sbin/spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --ip 127.0.0.1 --port 7077 --webui-port 8080
bash bin/spark-class org.apache.spark.deploy.worker.Worker spark://127.0.0.1:7077 -c 2 -m 2000m -h 127.0.0.1
In der Web-Benutzeroberfläche sehe ichSpark Master at spark://127.0.0.1:7077
Irgendwelche Ideen? Danke.
Antwort1
Um eine Verbindung zu Spark Master herzustellen, müssen Sie eine Bridge-Verbindung auf der VM definieren. Da Ihre Verbindung derzeit NAT ist, können Sie keine Verbindung herstellen.https://www.virtualbox.org/manual/ch06.html#network_bridged
Im Bridge-Modus funktioniert alles einwandfrei)