☰

コマンドラインでHiveを実行できない

tag-icon • tag-icon hadoop
コマンドラインでHiveを実行できない
  • ハイブ 3.1.2
  • ハドゥープ3.2.1

コマンドラインで hive を実行すると、以下のエラー メッセージが表示されます。

which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin)
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/hadoop/apache-hive-3.1.2-bin/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/hadoop/hadoop3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
        at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357)
        at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338)
        at org.apache.hadoop.mapred.JobConf.setJar(JobConf.java:536)
        at org.apache.hadoop.mapred.JobConf.setJarByClass(JobConf.java:554)
        at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:448)
        at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5141)
        at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:5099)
        at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jCommon(LogUtils.java:97)
        at org.apache.hadoop.hive.common.LogUtils.initHiveLog4j(LogUtils.java:81)
        at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:699)
        at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:683)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:323)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:236)

どうすればいいですか？

答え1

これは、2019 年半ばに Hadoop が Guava 依存関係を更新したことがきっかけとなったようです。HADOOP-15960この変更は 3.0.4、3.1.3、3.2.1 で適用されました。

lib/guava-*.jarHive は、 だけでなく にも、独自の互換性のないバージョンの Guava を同梱しておりlib/hive-exec-*.jar、大量の外部ライブラリが再パッケージ化されています。Hive は なしでは動作しないためhive-exec、 を削除して Hadoop から Guava JAR を取得することはできません。

hive-execの「ファットジャー」形式は少なくとも 2011 年から問題を引き起こしていますが、これまでのところ、それについてはあまり対策が講じられていません。

最終的に、Guava（他のライブラリはそうではない？）をシェーディングする変更がマージされましたhive-exec。ハイブ-22126ただし、その修正バージョンは 4.0.0 であり、まだリリースされていません。

この時点で、選択肢は次のいずれかのようです。

  • HADOOP-15960より前の最新リリースであるHadoop 3.0.3、3.2.0、または3.1.2を使用してください。ただし、以前のGuavaバージョンには既知の脆弱性がある:2018-10237 の脆弱性。
  • ソースから Hive トランクを構築します。

答え2

rm /home/hadoop/apache-hive-3.1.2-bin/lib/log4j-slf4j-impl-2.10.0.jar

クラスの競合によりスレッドが削除されますが、別の問題があります。java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava / lang / String; Ljava / lang / Object; )V

関連情報