20.04.3 (データブリックスジョブクラスター) に gdal-bin (libmysqlclient21 依存関係) をインストールする際の問題

2024-6-11 • tag-icon

20.04.3 (データブリックスジョブクラスター) に gdal-bin (libmysqlclient21 依存関係) をインストールする際の問題

過去に、20.04.3 LTS (focal) を実行している Databricks クラスターに gdal ユーティリティを正常にインストールしたことがあります。

$ cat /etc/os-release
NAME="Ubuntu"
VERSION="20.04.3 LTS (Focal Fossa)"
ID=ubuntu
ID_LIKE=debian
PRETTY_NAME="Ubuntu 20.04.3 LTS"
VERSION_ID="20.04"

$ sudo apt-get install -y gdal-bin

データブリックスジョブクラスターが起動するたびに、サンプルノートブックは GDAL のインストールを試みます。apt-get の更新/アップグレードを何度か試しましたが、問題が解決したと思ったら、翌日にはまた同じ問題が再発します (コードやクラスター仕様などに変更はありません)。

最近では、libmysqlclient21 のインストール時に問題が発生します。例:

Err:27 http://archive.ubuntu.com/ubuntu focal-updates/main amd64 libmysqlclient21 amd64 8.0.26-0ubuntu0.20.04.3
  404  Not Found [IP: 91.189.88.142 80]

私の理解では、これらの問題はパッケージバージョンがサポートされなくなったときに発生するもので、10 月 25 日 (問題が発生し始めた日) の時点で libmysqlclient21 に最新のパッチがリリースされていることに気づきました。

%sh sudo apt-get --fix-missing -y updateとを実行するとapt policy libmysqlclient21、インストールが成功する前に、が見つかることに気付きました8.0.27-0ubuntu0.20.04.1:

Get:1 http://security.ubuntu.com/ubuntu focal-security InRelease [114 kB]
Hit:2 http://archive.ubuntu.com/ubuntu focal InRelease
Hit:3 https://repos.azul.com/zulu/deb stable InRelease
Get:4 http://archive.ubuntu.com/ubuntu focal-updates InRelease [114 kB]
Get:5 http://security.ubuntu.com/ubuntu focal-security/restricted amd64 Packages [628 kB]
Get:6 http://archive.ubuntu.com/ubuntu focal-backports InRelease [101 kB]
Get:7 http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages [1,635 kB]
Get:8 http://security.ubuntu.com/ubuntu focal-security/universe amd64 Packages [801 kB]
Get:9 http://security.ubuntu.com/ubuntu focal-security/main amd64 Packages [1,183 kB]
Get:10 http://archive.ubuntu.com/ubuntu focal-updates/universe amd64 Packages [1,086 kB]
Get:11 http://archive.ubuntu.com/ubuntu focal-updates/multiverse amd64 Packages [33.4 kB]
Get:12 http://archive.ubuntu.com/ubuntu focal-updates/restricted amd64 Packages [679 kB]
Fetched 6,374 kB in 19s (329 kB/s)
Reading package lists...

libmysqlclient21:
Installed: (none)
Candidate: 8.0.27-0ubuntu0.20.04.1
Version table:
  8.0.27-0ubuntu0.20.04.1 500
    500 http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages
    500 http://security.ubuntu.com/ubuntu focal-security/main amd64 Packages
  8.0.19-0ubuntu5 500
    500 http://archive.ubuntu.com/ubuntu focal/main amd64 Packages

実行が失敗すると、次の結果が返されます:

Hit:1 http://security.ubuntu.com/ubuntu focal-security InRelease
Hit:2 http://archive.ubuntu.com/ubuntu focal InRelease
Hit:3 https://repos.azul.com/zulu/deb stable InRelease
Hit:4 http://archive.ubuntu.com/ubuntu focal-updates InRelease
Hit:5 http://archive.ubuntu.com/ubuntu focal-backports InRelease
Reading package lists...

libmysqlclient21:
Installed: (none)
Candidate: 8.0.26-0ubuntu0.20.04.3
Version table:
  8.0.26-0ubuntu0.20.04.3 500
    500 http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages
  8.0.26-0ubuntu0.20.04.2 500
    500 http://security.ubuntu.com/ubuntu focal-security/main amd64 Packages
  8.0.19-0ubuntu5 500
    500 http://archive.ubuntu.com/ubuntu focal/main amd64 Packages

私は、この問題の原因は何なのか、また、この問題を回避するために他に何をすべきなのかを理解しようと頭を悩ませてきました。特定のバージョンをハードコードせずにインストールを自動的に処理できればよいのですが (他の問題が発生した場合に備えて)、現在のプラットフォームでサポートされていることがわかっている場合は、特定のバージョンをターゲットにすることに反対ではありません。

アドバイスをいただければ幸いです。

関連情報