Dada una URL que apunta a un archivo grande, ¿existe un atajo para colocar ese archivo en un depósito, sin descargarlo localmente y luego cargarlo?
¿Existe una forma más sencilla de hacerlo, además de crear una imagen de la ventana acoplable que realice la tarea y ejecutarla en GCP de alguna manera?
Respuesta1
Como se menciona en elenlace
1: Puede hacerlo usando el comando curl transmitiendo los datos directamente al depósito.
curl http://speedtest.tele2.net/10GB.zip | gsutil cp -gs://YOUR_BUCKET_NAME/10GB.zip
2: Archivos de menos de 4,6 GB.
Enfoque original: esto funciona siempre que la descarga sea inferior a ~ 4,6 GB. Inicie Cloud Shell (primer ícono en la parte superior derecha después de iniciar sesión en su proyecto en GCP) y use wget para descargar el archivo que desea. Por ejemplo, para descargar 7-Zip escriba: wget https://www.7-zip.org/a/7z1805-x64.exeAhora, con el archivo en su inicio de usuario de Cloud Shell, puede copiarlo a un depósito de Google Cloud Storage usando el comando gsutil:
gsutil cp ./7z1805-x64.exe gs://your_bucket_name/
3: Archivos de más de 4,6 GB.
Cree un directorio en su inicio de usuario de Cloud Shell
mkdir ~/mybucket
Ahora monte su depósito en ese directorio usando gcsfuse:
gcsfuse bucket_name ~/mybucket
Cambie el directorio actual al directorio del punto de montaje:
cd mybucket(si desea ejecutar "df -h." para ver cuánto espacio tiene en ese punto de montaje) Ahora use wget para obtener el archivo directamente en su depósito (muestre usando un archivo de 10 GB fuera La web):
wget https://speed.hetzner.de/10GB.bin
Para obtener más información, puede consultar eldocumentaciónsobre servicios de transferencia de almacenamiento y la creación de unlista de direcciones URL.
Respuesta2
Google Cloud Storage no ofrece la posibilidad de cargar un objeto desde una URL.
Debe escribir su propio código, utilizar la CLI o un servicio administrado comoServicio de transferencia de almacenamiento