☰

Spark: пример Pi выдает исключение NoSuchFileException в режиме кластера

tag-icon • tag-icon apache-spark
Spark: пример Pi выдает исключение NoSuchFileException в режиме кластера

Я настроил кластер Spark 2.3.1, однако у меня возникли проблемы с отправкой в ​​него примера задания SparkPi:

Running Spark using the REST application submission protocol.
2018-09-06 13:45:53 INFO  RestSubmissionClient:54 - Submitting a request to launch an application in spark://10.0.15.7:7077.
2018-09-06 13:46:04 WARN  RestSubmissionClient:66 - Unable to connect to server spark://10.0.15.7:7077.
Warning: Master endpoint spark://10.0.15.7:7077 was not a REST server. Falling back to legacy submission gateway instead.
2018-09-06 13:46:04 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2018-09-06 13:46:10 ERROR ClientEndpoint:70 - Exception from cluster was: java.nio.file.NoSuchFileException: /opt/spark/examples/jars/spark-examples_2.11-2.3.1.jar
java.nio.file.NoSuchFileException: /opt/spark/examples/jars/spark-examples_2.11-2.3.1.jar
    at sun.nio.fs.UnixException.translateToIOException(UnixException.java:86)
    at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102)
    at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:107)
    at sun.nio.fs.UnixCopyFile.copy(UnixCopyFile.java:526)
    at sun.nio.fs.UnixFileSystemProvider.copy(UnixFileSystemProvider.java:253)
    at java.nio.file.Files.copy(Files.java:1274)
    at org.apache.spark.util.Utils$.org$apache$spark$util$Utils$$copyRecursive(Utils.scala:632)
    at org.apache.spark.util.Utils$.copyFile(Utils.scala:603)
    at org.apache.spark.util.Utils$.doFetchFile(Utils.scala:688)
    at org.apache.spark.util.Utils$.fetchFile(Utils.scala:485)
    at org.apache.spark.deploy.worker.DriverRunner.downloadUserJar(DriverRunner.scala:155)
    at org.apache.spark.deploy.worker.DriverRunner.prepareAndRunDriver(DriverRunner.scala:173)
    at org.apache.spark.deploy.worker.DriverRunner$$anon$1.run(DriverRunner.scala:92)

Скрипт отправки, который я использую:

bin/spark-submit \
    --master spark://10.0.15.7:7077 \
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.kubernetes.container.image=gcr.io/my-project/spark:spark-test \
    --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
    --conf spark.executor.instances=3 \
    /opt/spark/examples/jars/spark-examples_2.11-2.3.1.jar 1000

Я создал gcr.io/my-project/spark:spark-testизображение, используя настройки по умолчанию.

bin/docker-image-tool.sh -r gcr.io/my-project -t spark-test build push

так /opt/spark/examples/jars/spark-examples_2.11-2.3.1.jarв контейнере. Подтвердил это:

docker run --rm -it --entrypoint "/bin/ls" gcr.io/my-project/spark:spark-test -l /opt/spark/examples/jars/

Мой кластер Spark работает на Kubernetes. Я использую spark://схему, а не новую k8s://https://схему, поэтому он должен работать так же, как обычный кластер Spark. IP и порты видны, включая Spark Web UI.

Я не понимаю, где он пытается найти jar-файл.

Я попробовал добавить к пути local://, как в примерах Spark: https://spark.apache.org/docs/2.3.1/running-on-kubernetes.html но это не работает с spark://основным URL, выдает No FileSystem for scheme: localисключение.

RBAC настроен в соответствии с указанным выше URL-адресом, все модули используют sparkучетную запись службы.

У меня закончились идеи.

Связанный контент