☰

No se puede iniciar Spark

tag-icon • tag-icon 14.04 java environment-variables openjdk jdk
No se puede iniciar Spark

Seguí estorespuesta. Recibo este error:

spark-class: línea 86: /usr/lib/jvm/java-8-oracle/bin/java: No existe tal archivo o directorio

Y para mi sorpresa, tengo:

gsamaras@gsamaras:/usr/lib/jvm$ ls
java-1.7.0-openjdk-amd64  java-7-openjdk-amd64
gsamaras@gsamaras:/usr/lib/jvm$ $JAVA_HOME
bash: /usr/lib/jvm/java-8-oracle: No such file or directory

¿Cómo corregirlo?

Más información (deaquí):

gsamaras@gsamaras:~$ which java
/usr/bin/java
gsamaras@gsamaras:~$ ls -alh /usr/bin/java
lrwxrwxrwx 1 root root 22 Feb 10 00:54 /usr/bin/java -> /etc/alternatives/java
gsamaras@gsamaras:~$ ls -alh /etc/alternatives/java
lrwxrwxrwx 1 root root 46 Feb 10 00:54 /etc/alternatives/java -> /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

En el que ~/.profilehabía adjuntado:

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export PATH=${JAVA_HOME}/bin:${PATH}
export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar

de miexperiencia hadoop. Cuando descubrí eso, pude iniciar Spark.

EDITAR:

gsamaras@gsamaras:~/spark-1.6.0-bin-hadoop2.6/conf$ ls
docker.properties.template  metrics.properties.template   spark-env.sh.template
fairscheduler.xml.template  slaves.template

Respuesta1

No estoy seguro de si Spark funcionará con Java 7, pero si no, la solución obvia es instalar Java 8:

sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer

Responder "sí" en los lugares correctos debería proporcionarle Java 8 como predeterminado; de lo contrario,

sudo update-java-alternatives -s java-8-oracle

hará el truco.

Actualizar: Dicho esto, si desea ejecutar OpenJDK 7, debe averiguar dónde JAVA_HOMEestá configurado incorrectamente según

gsamaras@gsamaras:/usr/lib/jvm$ $JAVA_HOME
bash: /usr/lib/jvm/java-8-oracle: No such file or directory

Dado que intenta corregir eso .profile(¿lo hizo hash -ro volvió a iniciar sesión?), es posible que desee verificar load-spark-env.shotros scripts que se ejecutan antes de iniciar Spark correctamente.

Salud,

Respuesta2

simplemente intente ubicar el archivo spark-env.sh en su carpeta y verifique JAVA_HOME que contiene. La ubicación proporcionada en etc/environment debe ser la misma en ambos archivos.

información relacionada