使用 Azure 資料工廠轉換 Azure 託管的 Snowflake 是否有效率?

使用 Azure 資料工廠轉換 Azure 託管的 Snowflake 是否有效率?

我試圖了解使用 Azure 資料工廠在 Snowflake(基於 Azure)中轉換資料的效率。我們有兩種可能的情況,並希望選擇最有效的:

場景一:

  • 資料工廠協調將原始資料引入 Azure SQL
  • 資料工廠協調 Azure SQL 中的原始資料到 Snowflake 中的匯總表的轉換和載入。歷史原始資料保存在 Azure SQL 中。

場景2:

  • 數據工廠協調將原始數據攝取到 Snowflake 中
  • 資料工廠協調 Snowflake 中的原始資料到 Snowflake 中的匯總表的轉換。歷史原始資料保存在 Snowflake 中。

情境 2 在轉換步驟中將原始資料從 Snowflake 傳出到 ADF(資料集)時是否會產生額外成本,或者這一切都發生在沒有資料集傳出的 Snowflake 中嗎?

閱讀 ADF 文檔,似乎計算本身發生在連結服務(即 Snowflake)上,而不是在 ADF 本身內,但這是否意味著 ADF 轉換資料時資料不會離開 Snowflake?

如果問題不清楚,請告訴我。謝謝!

答案1

對於場景 2,資料被傳遞到 Snowflake 並在那裡轉換。 ADF 在此僅具有協調器角色,且沒有操作 2 的出口流量。

相關內容