
- Bienenstock 3.1.2
- Hadoop 3.2.1
Wenn ich Hive in der Befehlszeile ausführe, wird mir die folgende Fehlermeldung angezeigt:
which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin)
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/hadoop/apache-hive-3.1.2-bin/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/hadoop/hadoop3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357)
at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338)
at org.apache.hadoop.mapred.JobConf.setJar(JobConf.java:536)
at org.apache.hadoop.mapred.JobConf.setJarByClass(JobConf.java:554)
at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:448)
at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5141)
at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:5099)
at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jCommon(LogUtils.java:97)
at org.apache.hadoop.hive.common.LogUtils.initHiveLog4j(LogUtils.java:81)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:699)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:683)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.util.RunJar.run(RunJar.java:323)
at org.apache.hadoop.util.RunJar.main(RunJar.java:236)
Was soll ich machen?
Antwort1
Es sieht so aus, als wäre dies dadurch ausgelöst worden, dass Hadoop Mitte 2019 seine Guava-Abhängigkeit aktualisiert hat:HADOOP-15960. Diese Änderung wurde in 3.0.4, 3.1.3 und 3.2.1 vorgenommen.
Hive liefert seine eigene inkompatible Version von Guava, nicht nur in lib/guava-*.jar
, sondern auch innerhalb lib/hive-exec-*.jar
, die eine Menge externer Bibliotheken neu verpackt. Da Hive ohne nicht funktioniert hive-exec
, können wir es nicht einfach entfernen und das Guava-JAR von Hadoop abrufen.
hive-exec
Das „Fat Jar“-Format von verursacht seit mindestens 2011 Probleme, aber bisher wurde nicht viel dagegen unternommen:
- https://issues.apache.org/jira/browse/HIVE-2424
- https://issues.apache.org/jira/browse/HIVE-3017
- https://issues.apache.org/jira/browse/HIVE-3040
Sie wurden schließlich in einer Änderung zusammengeführt, um Guava (aber nicht die anderen Bibliotheken?) zu beschatten, hive-exec
abHIVE-22126, aber die Fixversion hierfür ist 4.0.0, die noch nicht veröffentlicht wurde.
An diesem Punkt scheinen wir folgende Optionen zu haben:
- Verwenden Sie Hadoop 3.0.3, 3.2.0 oder 3.1.2, die letzten Versionen vor HADOOP-15960. Beachten Sie jedoch, dass dievorherige Guava-Version weist eine bekannte Sicherheitslücke auf:CVE-2018-10237.
- Erstellen Sie den Hive-Trunk aus der Quelle.
Antwort2
rm /home/hadoop/apache-hive-3.1.2-bin/lib/log4j-slf4j-impl-2.10.0.jar
Denn der Klassenkonflikt entfernt einen Thread, aber es gibt noch ein anderes Problem. java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava / lang / String; Ljava / lang / Object; )V