☰

從 URL 下載到 GCP 儲存桶

tag-icon • tag-icon google-cloud-platform google-cloud-storage
從 URL 下載到 GCP 儲存桶

給定一個指向大文件的 URL，是否有一種快捷方式可以將該文件放入儲存桶中，而無需在本地下載然後上傳？

除了建立一個執行任務並以某種方式在 GCP 中運行的 docker 映像之外，還有更簡單的方法嗎？

答案1

正如在關聯

1： 您可以使用curl 命令將資料直接串流到儲存桶中來完成此操作。

curl http://speedtest.tele2.net/10GB.zip | gsutil cp -gs://YOUR_BUCKET_NAME/10GB.zip

2： 小於 4.6 GB 的檔案。

原始方法：只要您的下載小於 4.6 GB，此方法就有效。啟動 Cloud Shell（在 GCP 中登入專案後，打開右上角的第一個圖示）並使用 wget 下載所需的檔案。例如，要下載 7-Zip，請輸入：wget https://www.7-zip.org/a/7z1805-x64.exe現在，使用 Cloud Shell 用戶主目錄中的文件，您可以使用 gsutil 命令將其複製到 Google Cloud Storage 儲存桶：

gsutil cp ./7z1805-x64.exe gs://your_bucket_name/

3： 文件大於 4.6 GB。

在您的 Cloud Shell 使用者主目錄中建立目錄mkdir ~/mybucket

現在使用 gcsfuse 將您的儲存桶安裝在該目錄中：

gcsfuse bucket_name ~/mybucket

將目前目錄變更為掛載點目錄：（cd mybucket如果您想執行「df -h .」以查看該掛載點中有多少空間）現在使用wget 將檔案直接放入您的儲存桶中（使用10GB 檔案進行範例）網路）：

wget https://speed.hetzner.de/10GB.bin

欲了解更多信息，您可以參考文件儲存傳輸服務並創建網址列表。

答案2

Google Cloud Storage 不提供從 URL 載入物件的功能。

您必須編寫自己的程式碼、使用 CLI 或託管服務，例如儲存傳輸服務

相關內容