Раньше я успешно устанавливал утилиты gdal на кластере Databricks под управлением 20.04.3 LTS (focal).
$ cat /etc/os-release
NAME="Ubuntu"
VERSION="20.04.3 LTS (Focal Fossa)"
ID=ubuntu
ID_LIKE=debian
PRETTY_NAME="Ubuntu 20.04.3 LTS"
VERSION_ID="20.04"
$ sudo apt-get install -y gdal-bin
Каждый раз, когда запускается кластер задания databricks, мой тестовый блокнот пытается установить GDAL. Я пробовал серию обновлений/модернизаций apt-get; и как раз когда я думал, что проблема исчезла; на следующий день она возвращается снова (без изменений кода, спецификации кластера и т. д.)
В последнее время проблема возникает при установке libmysqlclient21, например:
Err:27 http://archive.ubuntu.com/ubuntu focal-updates/main amd64 libmysqlclient21 amd64 8.0.26-0ubuntu0.20.04.3
404 Not Found [IP: 91.189.88.142 80]
Насколько я понимаю, эти проблемы возникают, когда версии пакетов больше не поддерживаются, и я заметил, что libmysqlclient21 вышла с последним патчем от 25 октября (когда проблема начала возникать).
Я заметил, что при запуске %sh sudo apt-get --fix-missing -y update
и apt policy libmysqlclient21
до успешной установки я вижу, что найдено 8.0.27-0ubuntu0.20.04.1
:
Get:1 http://security.ubuntu.com/ubuntu focal-security InRelease [114 kB]
Hit:2 http://archive.ubuntu.com/ubuntu focal InRelease
Hit:3 https://repos.azul.com/zulu/deb stable InRelease
Get:4 http://archive.ubuntu.com/ubuntu focal-updates InRelease [114 kB]
Get:5 http://security.ubuntu.com/ubuntu focal-security/restricted amd64 Packages [628 kB]
Get:6 http://archive.ubuntu.com/ubuntu focal-backports InRelease [101 kB]
Get:7 http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages [1,635 kB]
Get:8 http://security.ubuntu.com/ubuntu focal-security/universe amd64 Packages [801 kB]
Get:9 http://security.ubuntu.com/ubuntu focal-security/main amd64 Packages [1,183 kB]
Get:10 http://archive.ubuntu.com/ubuntu focal-updates/universe amd64 Packages [1,086 kB]
Get:11 http://archive.ubuntu.com/ubuntu focal-updates/multiverse amd64 Packages [33.4 kB]
Get:12 http://archive.ubuntu.com/ubuntu focal-updates/restricted amd64 Packages [679 kB]
Fetched 6,374 kB in 19s (329 kB/s)
Reading package lists...
libmysqlclient21:
Installed: (none)
Candidate: 8.0.27-0ubuntu0.20.04.1
Version table:
8.0.27-0ubuntu0.20.04.1 500
500 http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages
500 http://security.ubuntu.com/ubuntu focal-security/main amd64 Packages
8.0.19-0ubuntu5 500
500 http://archive.ubuntu.com/ubuntu focal/main amd64 Packages
При неудачном запуске возвращается:
Hit:1 http://security.ubuntu.com/ubuntu focal-security InRelease
Hit:2 http://archive.ubuntu.com/ubuntu focal InRelease
Hit:3 https://repos.azul.com/zulu/deb stable InRelease
Hit:4 http://archive.ubuntu.com/ubuntu focal-updates InRelease
Hit:5 http://archive.ubuntu.com/ubuntu focal-backports InRelease
Reading package lists...
libmysqlclient21:
Installed: (none)
Candidate: 8.0.26-0ubuntu0.20.04.3
Version table:
8.0.26-0ubuntu0.20.04.3 500
500 http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages
8.0.26-0ubuntu0.20.04.2 500
500 http://security.ubuntu.com/ubuntu focal-security/main amd64 Packages
8.0.19-0ubuntu5 500
500 http://archive.ubuntu.com/ubuntu focal/main amd64 Packages
Я чесал голову, пытаясь понять, что может быть причиной этого, и что еще можно сделать, чтобы обойти эту проблему. Я бы предпочел, чтобы он автоматически обрабатывал установку без необходимости жесткого кодирования определенных версий (на случай возникновения других проблем); но не против нацеливания на определенные версии, если я знаю, что они будут поддерживаться на текущей платформе.
Буду признателен за любые советы.