☰

Как заставить GDAL работать с Google GCLOUD

tag-icon • tag-icon python django gcloud
Как заставить GDAL работать с Google GCLOUD

Я получаю следующую ошибку, пытаясь развернуть свое приложение в gcloud app engine. Вся проблема в попытке добавить библиотеку GDAL в мое приложение.

Файл "/opt/python3.7/lib/python3.7/ctypes/init.py", строка 377, в getattr func = self.getitem(name) Файл "/opt/python3.7/lib/python3.7/ctypes/init.py", строка 382, ​​в getitem func = self._FuncPtr((name_or_ordinal, self)) AttributeError: /usr/lib/libgdal.so.1: неопределенный символ: OGR_F_GetFieldAsInteger64

Я выполнил все инструкции, которые только мог найти в сети. Но, похоже, ничего не работает. Вот мои файлы app.yml:

runtime: custom

entrypoint: gunicorn -b :8080 app.wsgi
env: flex 

# any environment variables you want to pass to your application.
# accessible through os.environ['VARIABLE_NAME']
env_variables:
 ... 
  
beta_settings:
  cloud_sql_instances: site:asia-northeast2:site-db

handlers:
- url: /.*
  script: auto
  secure: always
manual_scaling: 
  instances: 1

runtime_config:
  python_version: 3

И Dockerfile:

FROM gcr.io/google-appengine/python
#FROM python:3.7
#FROM python:3.8.0-slim-buster

EXPOSE 8080
ENV PYTHONUNBUFFERED 1

# Install GDAL dependencies
#RUN apt-get update && apt-get install --yes libgdal-dev
RUN apt-get update && apt-get install --reinstall -y \
  #libopenjp2-7 \
  #libopenjp2-7-dev \
  #libgdal-dev \
  binutils \
  gdal-bin \
  python-gdal \
  python3-gdal 


# Update C env vars so compiler can find gdal
#ENV CPLUS_INCLUDE_PATH=/usr/include/gdal
#ENV C_INCLUDE_PATH=/usr/include/gdal
RUN export CPLUS_INCLUDE_PATH=/usr/include/gdal
RUN export C_INCLUDE_PATH=/usr/include/gdal

# Create a virtualenv for dependencies. This isolates these packages from
# system-level packages.
# Use -p python3 or -p python3.7 to select python version. Default is version 2.
RUN virtualenv /env -p python3

# Setting these environment variables are the same as running
# source /env/bin/activate.
ENV VIRTUAL_ENV /env
ENV PATH /env/bin:$PATH

# Copy the application's requirements.txt and run pip to install all
# dependencies into the virtualenv.
ADD requirements.txt /app/requirements.txt
RUN pip install -r /app/requirements.txt
# Add the application source code.
ADD . /app

# Run a WSGI server to serve the application. gunicorn must be declared as
# a dependency in requirements.txt.
CMD exec gunicorn --bind :$PORT --workers 1 --threads 8 main:app --timeout 0 --preload

Обновлять: Как и большинство предложений в Интернете по использованию образа Python3.8.

FROM python:3.8

При попытке сделать это возникает следующая ошибка:

/bin/sh: 1: virtualenv: не найдено Команда '/bin/sh -c virtualenv /env -p python3' вернула ненулевой код: 127 ОШИБКА ОШИБКА: шаг сборки 0 "gcr.io/cloud-builders/docker" не выполнен: шаг завершен с ненулевым статусом: 127

Кто-нибудь, помогите мне. Что мне нужно сделать, чтобы это заработало?

решение1

Зависимости GDAL с GAE могут быть довольно болезненными. Кроме того, я заметил, что образ GAE, опубликованный для среды flex, не включает python3.8 в отличие от стандартной среды, которая должна включать 3.8 (она идет вплоть до python3.7 для flex, вы можете увидеть их все в /opt/python3.*). Поэтому вам следует установить 3.8 самостоятельно, а также несколько необходимых зависимостей GIS.

Попробуйте этот Dockerfile:

FROM gcr.io/google-appengine/python
ENV PYTHONUNBUFFERED 1
ENV DEBIAN_FRONTEND noninteractive

RUN apt -y update && apt -y upgrade\
    && apt-get install -y software-properties-common \
    && add-apt-repository -y ppa:ubuntugis/ppa \
    && add-apt-repository -y ppa:deadsnakes/ppa \
    && apt -y update && apt -y upgrade\
    && apt-get -y install python3.8 python3.8-distutils python3.8-venv \
       gdal-bin libgdal-dev python3-gdal  \ 
    && apt-get autoremove -y \
    && apt-get autoclean -y \
    && apt-get clean \
    && rm -rf /var/lib/apt/lists/*

RUN virtualenv /env -p python3.8
ENV VIRTUAL_ENV /env
ENV PATH /env/bin:$PATH

ADD requirements.txt /app/requirements.txt
RUN python3 -m pip install -r /app/requirements.txt 
ADD . /app/
WORKDIR /app
CMD gunicorn -b :$PORT app.wsgi

Это использует Deadsnakes PPA для установки бинарного файла python3.8 и других в контейнере, а также более новых зависимостей GDAL/GIS, поскольку контейнер GAE основан на Ubuntu 16.04 LTS (xenial), который поставляется с некоторыми довольно устаревшими пакетами. Обратите внимание, что вам не нужно устанавливать флаги компилятора, поскольку вы ничего не компилируете в своем контейнере.

Связанный контент