☰

문제

tag-icon • tag-icon linux hadoop apache-spark
문제

문제

Hadoop 클러스터에 Spark를 설치하려고 합니다. Hadoop을 설치하고 테스트했습니다. HDFS를 탐색하고 MapReduce 예제를 실행할 수 있습니다. 그런데 스파크를 설치하려고 했더니 EOFException으로 시작에 실패해서 실행할 수 없습니다.

시스템 정보:

  • 록키 리눅스 8.8
  • 커널 4.18.0
  • 하둡-3.3.6
  • 하둡 없이 스파크-3.5.0-bin-bin

설정:

  • node32.cluster - 마스터 노드
  • node[33-35].cluster - HDFS 및 컴퓨팅 노드

노트

  • /opt/Hadoop 및 Spark 설정이 포함된 NFS 디렉터리가 있고 /home모든 노드에서 공유되므로 구성이 동일하다고 확신합니다.
  • hadoop:hadoop모든 노드에 사용자가 있습니다

하둡 구성

핵심 사이트.xml

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://node32.cluster:10000</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
            <name>dfs.namenode.name.dir</name>
        <value>/mnt/hadoop/data/name_node</value>
    </property>

    <property>
            <name>dfs.datanode.data.dir</name>
            <value>/mnt/hadoop/data/data_node</value>
    </property>

    <property>
            <name>dfs.replication</name>
            <value>3</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
            <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    </property>
</configuration>

원사-site.xml

<configuration>
    <property>
        <name>yarn.acl.enable</name>
        <value>0</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node32</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.detect-hardware-capabilities</name>
        <value>true</value>
    </property>
</configuration>

스파크 구성

스파크-defaults.conf

spark.master                       yarn
spark.eventLog.enabled             true
spark.eventLog.dir                 hdfs://node32.cluster:9000/spark-logs
spark.history.provider             org.apache.spark.deploy.history.FsHistoryProvider
spark.history.fs.logDirectory      hdfs://node32.cluster:9000/spark-logs
spark.history.fs.update.interval   10s
spark.history.ui.port              18

스파크-env.sh

export SPARK_DIST_CLASSPATH="$(hadoop classpath)"

환경

export HADOOP_HOME="/opt/hadoop-3.3.6"
export HADOOP_CONF_DIR="$HADOOP_HOME/etc/hadoop"
export SPARK_HOME="/opt/spark-3.5.0-bin-without-hadoop"
export LD_LIBRARY_PATH="$HADOOP_HOME/lib/native:$LD_LIBRARY_PATH"

실행 및 문제

$HADOOP_HOME/sbin/start-all.sh

마스터에 대한 JPS 결과

4069901 ResourceManager
4077965 Master
4068697 SecondaryNameNode
4078614 Worker
4088135 Jps
4067905 NameNode

다른 노드의 JPS 결과

3350467 NodeManager
3357158 Jps
3349966 DataNode

예제 실행

spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster \
  --num-executors 1 \
  $SPARK_HOME/examples/jars/spark-examples_2.12-3.5.0.jar

노드의 오류 로그

02:41:16.548 [Driver] ERROR org.apache.spark.SparkContext - Error initializing SparkContext.
java.io.IOException: DestHost:destPort node32.cluster:9000 , LocalHost:localPort node34/192.168.100.34:0. Failed on local exception: java.io.IOException: java.io.EOFException
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) ~[?:1.8.0_392]
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) ~[?:1.8.0_392]
...

동일한 결과로 스파크 쉘을 실행하십시오.

spark-shell

오류 기록

02:47:31.499 [main] ERROR org.apache.spark.SparkContext - Error initializing SparkContext.
java.io.EOFException: End of File Exception between local host is: "node32/192.168.100.32"; destination host is: "node32.cluster":9000; : java.io.EOFException; For more details see:  http://wiki.apache.org/hadoop/EOFException
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) ~[?:1.8.0_392]
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) ~[?:1.8.0_392]
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) ~[?:1.8.0_392]
    at java.lang.reflect.Constructor.newInstance(Constructor.java:423) ~[?:1.8.0_392]
...

위키를 보았지만 근본 원인이 무엇인지 이해할 수 없었습니다.

결론

누군가 이 문제를 도와줄 수 있나요?

관련 정보