☰

Google Cloud Container Builder mit Cache

tag-icon • tag-icon google-cloud-platform
Google Cloud Container Builder mit Cache

Nehmen wir an, ich habe:

steps:
    - name: 'gcr.io/cloud-builders/gradle'
      entrypoint: 'bash'
      args: ['-c',
             'chmod +x ./gradlew && ./gradlew build']
    - name: 'gcr.io/cloud-builders/docker'
      args: ['build', '--tag', 'eu.gcr.io/my-app:$_BUILD_ID', '.']
images: ['eu.gcr.io/my-app:$_BUILD_ID']

Gibt es Möglichkeiten, den Cache von Gradle für zukünftige Builds zu belassen? Derzeit werden jedes Mal alle Abhängigkeiten heruntergeladen.

Vielleicht muss ich einen Bucket-Speicher bereitstellen und GRADLE_USER_HOME darauf verweisen?

Antwort1

Verwenden Sie Container Builder, um die Erstellung der Anwendung von der Erstellung ihrer Laufzeitebene zu trennen. Teilen Sie Ihr Image in einen Container mit den Abhängigkeiten und einen anderen Container mit Ihrer App auf, wie beschrieben.Hier. Es verwendet außerdem zur Laufzeit die JRE anstelle des JDK, was zusätzlichen Speicherplatz spart

cloudbuild.yaml:

steps:
- name: 'java:8'
  env: ['GRADLE_USER_HOME=cache']
  entrypoint: 'bash'
  args: ['-c',
         './gradlew gate-web:installDist -x test']

- name: 'gcr.io/cloud-builders/docker'
  args: ['build',
         '-t', 'gcr.io/$PROJECT_ID/$REPO_NAME:$COMMIT_SHA', 
         '-t', 'gcr.io/$PROJECT_ID/$REPO_NAME:latest',
         '-f', 'Dockerfile.slim',
         '.'
  ]
images:
- 'gcr.io/$PROJECT_ID/$REPO_NAME:$COMMIT_SHA'
- 'gcr.io/$PROJECT_ID/$REPO_NAME:latest'

Dockerfile.slim:

FROM openjdk:8u111-jre-alpine

COPY ./gate-web/build/install/gate /opt/gate

CMD ["/opt/gate/bin/gate"]

Antwort2

Dies ist, was ich für unseren Staging-Build verwende:

cloudbuild.yaml:

steps:
  # Get the saved global gradle cache from
  # Google Cloud Storage if it exists.
  - name: 'gcr.io/cloud-builders/gsutil'
    entrypoint: 'sh'
    args:
      - '-c'
      - |
        # Global
        if gsutil -q stat gs://${PROJECT_ID}_cloudbuild/gradle_global.tar.gz; then
          cd /
          gsutil cp gs://${PROJECT_ID}_cloudbuild/gradle_global.tar.gz gradle_global.tar.gz
          tar -xpzf gradle_global.tar.gz
        fi
    volumes:
      - name: 'gradle_global'
        path: /root/.gradle

  # Build the java package.
  - name: 'gcr.io/cloud-builders/gradle'
    entrypoint: 'sh'
    args:
      - '-c'
      - |
        # Build the gateway .war package.
        ./gradlew -Pprod -DskipTests clean bootRepackage

        # Move the files needed for the docker image
        # to the slim directory.
        mv ./build/libs/*.war ./app.war

        # Delete all files and folders in the current directory
        # except for the `app.war` and `Dockerfile`.
        find . -type d -exec rm -rf {}
        find . -type f -not -name 'app.war' -not -name 'Dockerfile' -delete
    volumes:
     - name: 'gradle_global'
       path: /root/.gradle

  # Save the global gradle cache to Google Cloud Storage
  - name: 'gcr.io/cloud-builders/gsutil'
    entrypoint: 'sh'
    args:
      - '-c'
      - |
        # Global
        echo 'Creating an archive of /root/.gradle directory'
        tar -cpzf gradle_global.tar.gz /root/.gradle/
        echo 'Saving archive to Cloud Storage'
        gsutil cp gradle_global.tar.gz gs://${PROJECT_ID}_cloudbuild/gradle_global.tar.gz
        # Cleaning up
        echo 'Deleting gradle*.tar.gz'
        rm -f gradle*.tar.gz
  volumes:
    - name: 'gradle_global'
      path: /root/.gradle

  - name: 'gcr.io/cloud-builders/docker'
    args: ['pull', 'asia.gcr.io/$PROJECT_ID/${IMAGE_NAME}:latest']

  # Build the gateway container image.
  - name: 'gcr.io/cloud-builders/docker'
    args:
      - 'build'
      - '-t'
      - 'asia.gcr.io/${PROJECT_ID}/${IMAGE_NAME}:${COMMIT_SHA}'
      - '-t'
      - 'asia.gcr.io/${PROJECT_ID}/${IMAGE_NAME}:latest'
      - '--cache-from'
      - 'asia.gcr.io/${PROJECT_ID}/${IMAGE_NAME}:latest'
      - '.'

images:
  - asia.gcr.io/${PROJECT_ID}/gateway:${COMMIT_SHA}
  - asia.gcr.io/${PROJECT_ID}/gateway:latest

Ich hoffe das hilft.

Antwort3

Sehen Sie sich dieseCommunity-Cache-Bilder. Sie müssen nur die save_cacheund restore_cacheBilder erstellen und in Ihrem Bild-Repository veröffentlichen, bevor Sie sie verwenden, da mir keine öffentlichen Bilder bekannt sind.

Dadurch werden tardie .gradle/cachesVerzeichnisse .gradle/wrapperund im angegebenen Bucket gespeichert. IchdenkenSie müssen die --paths mit absoluten Dateiverweisen angeben, damit sie restore_cachebeim Entpacken automatisch im selben Verzeichnis wiederhergestellt werden tar.

Hier ist meins cloudbuild.yaml.

steps:
  - name: 'gcr.io/$PROJECT_ID/restore_cache'
    args:
      - '--bucket=gs://${PROJECT_ID}_cloudbuild/${_CACHE_BUCKET}'
      - '--key=${_CACHE_KEY}'
  - name: 'java:8'
    entrypoint: "bash"
    args:
      - '-c'
      - './gradlew build'
    env:
      - 'GRADLE_OPTS="-Dorg.gradle.daemon=false -Dkotlin.incremental=false"'
      - 'GRADLE_USER_HOME=${_GRADLE_USER_HOME}'
  - name: 'gcr.io/$PROJECT_ID/save_cache'
    args:
      - '--bucket=gs://${PROJECT_ID}_cloudbuild/${_CACHE_BUCKET}'
      - '--key=${_CACHE_KEY}'
      - '--path=${_GRADLE_USER_HOME}/caches'
      - '--path=${_GRADLE_USER_HOME}/wrapper'
substitutions:
  _CACHE_BUCKET: 'gradle_cache'
  _GRADLE_USER_HOME: '/workspace/.gradle'
  _CACHE_KEY: 'gradle-cache'

Es ist wichtig, dass GRADLE_USER_HOMEes sich im Standardvolume /workspace(oder einem benutzerdefinierten Volume) befindet, damit es zwischen den verschiedenen Schritten des Cloud-Builds beibehalten wird (Volumes werden automatisch von Schritt zu Schritt kopiert).

verwandte Informationen