스파크를 시작할 수 없습니다

스파크를 시작할 수 없습니다

나는 이것을 따랐다답변. 이 오류가 발생합니다.

Spark-class: 86행: /usr/lib/jvm/java-8-oracle/bin/java: 해당 파일 또는 디렉토리가 없습니다.

놀랍게도 다음과 같은 결과가 나왔습니다.

gsamaras@gsamaras:/usr/lib/jvm$ ls
java-1.7.0-openjdk-amd64  java-7-openjdk-amd64
gsamaras@gsamaras:/usr/lib/jvm$ $JAVA_HOME
bash: /usr/lib/jvm/java-8-oracle: No such file or directory

그것을 수정하는 방법?

자세한 내용은 (에서여기):

gsamaras@gsamaras:~$ which java
/usr/bin/java
gsamaras@gsamaras:~$ ls -alh /usr/bin/java
lrwxrwxrwx 1 root root 22 Feb 10 00:54 /usr/bin/java -> /etc/alternatives/java
gsamaras@gsamaras:~$ ls -alh /etc/alternatives/java
lrwxrwxrwx 1 root root 46 Feb 10 00:54 /etc/alternatives/java -> /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

나는 다음을 ~/.profile추가했습니다.

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export PATH=${JAVA_HOME}/bin:${PATH}
export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar

내로부터하둡 경험. 소스를 제공했을 때 Spark를 시작할 수 있었습니다.


편집하다:

gsamaras@gsamaras:~/spark-1.6.0-bin-hadoop2.6/conf$ ls
docker.properties.template  metrics.properties.template   spark-env.sh.template
fairscheduler.xml.template  slaves.template

답변1

Spark가 Java 7에서 작동할지 확실하지 않지만 그렇지 않은 경우 확실한 해결책은 Java 8을 설치하는 것입니다.

sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer

올바른 위치에 "예"라고 대답하면 Java 8이 기본값으로 설정됩니다. 그렇지 않으면

sudo update-java-alternatives -s java-8-oracle

트릭을 할 것입니다.

업데이트: 그렇지만 OpenJDK 7로 실행하려면 다음 JAVA_HOME과 같이 잘못 설정된 위치를 찾아야 합니다.

gsamaras@gsamaras:/usr/lib/jvm$ $JAVA_HOME
bash: /usr/lib/jvm/java-8-oracle: No such file or directory

이를 수정하려고 시도했거나 .profile(했거나 다시 로그인했습니까?) Spark를 제대로 시작하기 전에 실행되는 다른 스크립트를 hash -r확인하고 싶을 수도 있습니다 .load-spark-env.sh

건배,

답변2

폴더에서 Spark-env.sh 파일을 찾고 그 안에 제공된 JAVA_HOME을 확인해보세요. etc/environment에 지정된 위치는 두 파일 모두에서 동일해야 합니다.

관련 정보