☰

Spark kann nicht gestartet werden

tag-icon • tag-icon 14.04 java environment-variables openjdk jdk
Spark kann nicht gestartet werden

Ich folgte diesemAntwort. Ich erhalte diesen Fehler:

spark-class: Zeile 86: /usr/lib/jvm/java-8-oracle/bin/java: Keine solche Datei oder kein solches Verzeichnis

Und zu meiner Überraschung habe ich:

gsamaras@gsamaras:/usr/lib/jvm$ ls
java-1.7.0-openjdk-amd64  java-7-openjdk-amd64
gsamaras@gsamaras:/usr/lib/jvm$ $JAVA_HOME
bash: /usr/lib/jvm/java-8-oracle: No such file or directory

Wie kann man das korrigieren?

Weitere Informationen (vonHier):

gsamaras@gsamaras:~$ which java
/usr/bin/java
gsamaras@gsamaras:~$ ls -alh /usr/bin/java
lrwxrwxrwx 1 root root 22 Feb 10 00:54 /usr/bin/java -> /etc/alternatives/java
gsamaras@gsamaras:~$ ls -alh /etc/alternatives/java
lrwxrwxrwx 1 root root 46 Feb 10 00:54 /etc/alternatives/java -> /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

Im Anhang ~/.profilehatte ich angefügt:

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export PATH=${JAVA_HOME}/bin:${PATH}
export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar

Von meinemHadoop-Erfahrung. Als ich das herausgefunden hatte, konnte ich Spark starten.

BEARBEITEN:

gsamaras@gsamaras:~/spark-1.6.0-bin-hadoop2.6/conf$ ls
docker.properties.template  metrics.properties.template   spark-env.sh.template
fairscheduler.xml.template  slaves.template

Antwort1

Ich bin nicht sicher, ob Spark mit Java 7 funktioniert, aber wenn nicht, besteht die naheliegende Lösung darin, Java 8 zu installieren:

sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer

Wenn Sie an den richtigen Stellen mit „Ja“ antworten, sollte Java 8 als Standard installiert sein, andernfalls

sudo update-java-alternatives -s java-8-oracle

wird es richten.

Aktualisieren: Wenn Sie jedoch mit OpenJDK 7 arbeiten möchten, müssen Sie herausfinden, wo JAVA_HOMEgemäß

gsamaras@gsamaras:/usr/lib/jvm$ $JAVA_HOME
bash: /usr/lib/jvm/java-8-oracle: No such file or directory

Da Sie versuchen, dies zu korrigieren .profile(haben Sie dies getan hash -roder sich erneut angemeldet?), möchten Sie möglicherweise load-spark-env.shandere Skripte überprüfen, die vor dem eigentlichen Starten von Spark ausgeführt werden.

Prost,

Antwort2

Versuchen Sie einfach, die Datei spark-env.sh in Ihrem Ordner zu finden und überprüfen Sie das darin angegebene JAVA_HOME. Der in etc/environment angegebene Speicherort muss in beiden Dateien identisch sein

verwandte Informationen