Tento executar o Apache Spark Master e Worker dentro da caixa virtual (ubuntu) e conectar-me a ele a partir do meu aplicativo, mas infelizmente continuo recebendo:
akka.remote.EndpointAssociationException: Association failed
Configurei o redirecionamento de porta da máquina virtual para a máquina host em 7077& 6066e 8080posso fazer telnet da minha máquina host Windows e 127.0.0.1 7077me conectar.
Eu executo spark master e spark trabalhador com os seguintes comandos:
export SPARK_LOCAL_IP=127.0.0.1
export SPARK_MASTER_IP=127.0.0.1
bash sbin/spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --ip 127.0.0.1 --port 7077 --webui-port 8080
bash bin/spark-class org.apache.spark.deploy.worker.Worker spark://127.0.0.1:7077 -c 2 -m 2000m -h 127.0.0.1
Na UI da web eu vejoSpark Master at spark://127.0.0.1:7077
Alguma ideia? Obrigado.
Responder1
Para se conectar ao Spark Master você precisa definir a conexão Bridge na VM. Agora sua conexão NAT é por isso que você não consegue se conectar.https://www.virtualbox.org/manual/ch06.html#network_bridged
No modo Bridge tudo funciona bem)