☰

Não é possível iniciar o Spark

tag-icon • tag-icon 14.04 java environment-variables openjdk jdk
Não é possível iniciar o Spark

Eu segui issoresponder. Estou recebendo este erro:

spark-class: linha 86: /usr/lib/jvm/java-8-oracle/bin/java: Arquivo ou diretório inexistente

E para minha surpresa, tenho:

gsamaras@gsamaras:/usr/lib/jvm$ ls
java-1.7.0-openjdk-amd64  java-7-openjdk-amd64
gsamaras@gsamaras:/usr/lib/jvm$ $JAVA_HOME
bash: /usr/lib/jvm/java-8-oracle: No such file or directory

Como corrigir isso?

Mais informações (deaqui):

gsamaras@gsamaras:~$ which java
/usr/bin/java
gsamaras@gsamaras:~$ ls -alh /usr/bin/java
lrwxrwxrwx 1 root root 22 Feb 10 00:54 /usr/bin/java -> /etc/alternatives/java
gsamaras@gsamaras:~$ ls -alh /etc/alternatives/java
lrwxrwxrwx 1 root root 46 Feb 10 00:54 /etc/alternatives/java -> /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

No eu ~/.profileanexei:

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export PATH=${JAVA_HOME}/bin:${PATH}
export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar

do meuExperiência Hadoop. Quando descobri isso, consegui lançar o Spark.

EDITAR:

gsamaras@gsamaras:~/spark-1.6.0-bin-hadoop2.6/conf$ ls
docker.properties.template  metrics.properties.template   spark-env.sh.template
fairscheduler.xml.template  slaves.template

Responder1

Não tenho certeza se o Spark funcionará com o Java 7, mas se não, a solução óbvia é instalar o Java 8:

sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer

Responder "sim" nos locais corretos deve fornecer o Java 8 como padrão, caso contrário

sudo update-java-alternatives -s java-8-oracle

fará o truque.

Atualizar: Dito isto, se você quiser rodar com o OpenJDK 7, você precisa descobrir onde JAVA_HOMEestá definido incorretamente conforme

gsamaras@gsamaras:/usr/lib/jvm$ $JAVA_HOME
bash: /usr/lib/jvm/java-8-oracle: No such file or directory

Já que você tentou corrigir isso .profile(você fez hash -rlogin ou fez login novamente?), Você pode querer verificar load-spark-env.shou outros scripts que são executados antes de iniciar o Spark propriamente dito.

Saúde,

Responder2

apenas tente localizar o arquivo spark-env.sh em sua pasta e verifique o JAVA_HOME fornecido nele. A localização indicada no etc/environment deve ser a mesma em ambos os arquivos

informação relacionada