☰

Não consigo executar o hive na linha de comando

tag-icon • tag-icon hadoop
Não consigo executar o hive na linha de comando
  • Colmeia 3.1.2
  • Hadoop 3.2.1

Quando executo o hive na linha de comando, ele me mostra a mensagem de erro abaixo:

which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin)
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/hadoop/apache-hive-3.1.2-bin/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/hadoop/hadoop3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
        at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357)
        at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338)
        at org.apache.hadoop.mapred.JobConf.setJar(JobConf.java:536)
        at org.apache.hadoop.mapred.JobConf.setJarByClass(JobConf.java:554)
        at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:448)
        at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5141)
        at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:5099)
        at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jCommon(LogUtils.java:97)
        at org.apache.hadoop.hive.common.LogUtils.initHiveLog4j(LogUtils.java:81)
        at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:699)
        at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:683)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:323)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:236)

O que devo fazer?

Responder1

Parece que isso foi acionado pela atualização do Hadoop de sua dependência do Guava em meados de 2019:HADOOP-15960. Essa mudança ocorreu em 3.0.4, 3.1.3 e 3.2.1.

O Hive envia sua própria versão incompatível do Guava, não apenas no lib/guava-*.jar, mas também no lib/hive-exec-*.jar, que reempacota uma tonelada de bibliotecas externas. Como o Hive não funciona sem o hive-exec, não podemos simplesmente removê-lo e obter o JAR Guava do Hadoop.

hive-execO formato "fat jar" do tem causado problemas pelo menos desde 2011, mas até agora eles não fizeram muito a respeito:

hive-execEles finalmente se fundiram em uma mudança para sombrear Guava (mas não as outras bibliotecas?)HIVE-22126, mas a versão de correção é 4.0.0, que ainda não foi lançada.

Neste ponto, parece que nossas opções são:

  • Use o Hadoop 3.0.3, 3.2.0 ou 3.1.2, as últimas versões anteriores ao HADOOP-15960. Mas observe que oa versão anterior do Guava tem uma vulnerabilidade conhecida:CVE-2018-10237.
  • Construa o tronco do Hive a partir da fonte.

Responder2

rm /home/hadoop/apache-hive-3.1.2-bin/lib/log4j-slf4j-impl-2.10.0.jar

Porque o conflito de classes remove um thread, mas há outro problema. java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava / lang / String; Ljava / lang / Object; )V

informação relacionada