☰

Невозможно запустить Spark

tag-icon • tag-icon 14.04 java environment-variables openjdk jdk
Невозможно запустить Spark

Я следил за этимотвечатьЯ получаю эту ошибку:

spark-class: строка 86: /usr/lib/jvm/java-8-oracle/bin/java: Такого файла или каталога нет

И к моему удивлению, у меня есть:

gsamaras@gsamaras:/usr/lib/jvm$ ls
java-1.7.0-openjdk-amd64  java-7-openjdk-amd64
gsamaras@gsamaras:/usr/lib/jvm$ $JAVA_HOME
bash: /usr/lib/jvm/java-8-oracle: No such file or directory

Как это исправить?

Дополнительная информация (отздесь):

gsamaras@gsamaras:~$ which java
/usr/bin/java
gsamaras@gsamaras:~$ ls -alh /usr/bin/java
lrwxrwxrwx 1 root root 22 Feb 10 00:54 /usr/bin/java -> /etc/alternatives/java
gsamaras@gsamaras:~$ ls -alh /etc/alternatives/java
lrwxrwxrwx 1 root root 46 Feb 10 00:54 /etc/alternatives/java -> /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

В приложении ~/.profileя приложил:

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export PATH=${JAVA_HOME}/bin:${PATH}
export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar

от моегоОпыт работы с Hadoop. Получив это, я смог запустить Spark.

РЕДАКТИРОВАТЬ:

gsamaras@gsamaras:~/spark-1.6.0-bin-hadoop2.6/conf$ ls
docker.properties.template  metrics.properties.template   spark-env.sh.template
fairscheduler.xml.template  slaves.template

решение1

Я не уверен, будет ли Spark работать с Java 7, но если нет, то очевидным решением будет установить Java 8:

sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer

Ответив «да» в правильных местах, вы получите Java 8 по умолчанию, в противном случае

sudo update-java-alternatives -s java-8-oracle

сделает свое дело.

Обновлять: Сказав это, если вы хотите работать с OpenJDK 7, вам придется выяснить, где JAVA_HOMEустановлено неправильно, согласно

gsamaras@gsamaras:/usr/lib/jvm$ $JAVA_HOME
bash: /usr/lib/jvm/java-8-oracle: No such file or directory

Поскольку вы пытаетесь исправить это .profile(вы выполнили hash -rвход или перелогинились?), вам, возможно, захочется проверить load-spark-env.shдругие скрипты, которые выполняются перед запуском Spark.

Ваше здоровье,

решение2

просто попробуйте найти файл spark-env.sh в вашей папке и проверьте указанный в нем JAVA_HOME. Расположение, указанное в etc/environment, должно быть одинаковым в обоих файлах

Связанный контент