☰

명령줄에서 하이브를 실행할 수 없습니다.

tag-icon • tag-icon hadoop
명령줄에서 하이브를 실행할 수 없습니다.
  • 하이브 3.1.2
  • 하둡 3.2.1

명령줄에서 하이브를 실행하면 아래 오류 메시지가 표시됩니다.

which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin)
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/hadoop/apache-hive-3.1.2-bin/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/hadoop/hadoop3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
        at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357)
        at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338)
        at org.apache.hadoop.mapred.JobConf.setJar(JobConf.java:536)
        at org.apache.hadoop.mapred.JobConf.setJarByClass(JobConf.java:554)
        at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:448)
        at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5141)
        at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:5099)
        at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jCommon(LogUtils.java:97)
        at org.apache.hadoop.hive.common.LogUtils.initHiveLog4j(LogUtils.java:81)
        at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:699)
        at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:683)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:323)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:236)

어떻게 해야 하나요?

답변1

이는 2019년 중반에 Hadoop이 Guava 종속성을 업데이트하면서 발생한 것으로 보입니다.HADOOP-15960. 해당 변경 사항은 3.0.4, 3.1.3 및 3.2.1에서 적용되었습니다.

Hive는 호환되지 않는 자체 Guava 버전을 에서뿐만 아니라 수많은 외부 라이브러리를 다시 패키징하는 lib/guava-*.jar에서도 제공합니다. lib/hive-exec-*.jarHive는 가 없으면 작동하지 않기 때문에 hive-execHive를 제거하고 Hadoop에서 Guava JAR을 가져올 수는 없습니다.

hive-exec의 "fat jar" 형식은 적어도 2011년부터 문제를 일으키고 있지만 지금까지는 이에 대해 많은 조치를 취하지 않았습니다.

그들은 마침내 Guava(다른 라이브러리는 아님)로 변경하여 병합했습니다 hive-exec.HIVE-22126, 그러나 이에 대한 수정 버전은 4.0.0이며 아직 출시되지 않았습니다.

이 시점에서 우리의 옵션은 다음 중 하나인 것 같습니다.

  • HADOOP-15960 이전의 마지막 릴리스인 Hadoop 3.0.3, 3.2.0 또는 3.1.2를 사용하십시오. 그러나이전 Guava 버전에는 알려진 취약점이 있습니다.:CVE-2018-10237.
  • 소스에서 Hive 트렁크를 빌드합니다.

답변2

rm /home/hadoop/apache-hive-3.1.2-bin/lib/log4j-slf4j-impl-2.10.0.jar

클래스 충돌로 인해 스레드가 제거되기 때문에 또 다른 문제가 있습니다. java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava / lang / String; Ljava / lang / Object; )V

관련 정보