Snowflake (Azure ベース) 内でデータを変換するために Azure Data Factory を使用する効率を理解しようとしています。考えられるシナリオは 2 つあり、最も効率的なものを選択したいと考えています。
シナリオ 1:
- Data Factory は、Azure SQL への生データの取り込みを調整します。
- Data Factory は、Azure SQL の生データを Snowflake のサマリー テーブルに変換して読み込む処理を調整します。履歴の生データは Azure SQL に保存されます。
シナリオ2:
- Data Factoryは、生データをSnowflakeに取り込む作業をオーケストレーションします。
- Data Factory は、Snowflake の生データを Snowflake のサマリー テーブルに変換する処理を調整します。履歴の生データは Snowflake に保存されます。
シナリオ 2 では、変換ステップで Snowflake から ADF (データ セット) への生データの送信時に追加のコストが発生しますか。それとも、データ セットの送信なしですべて Snowflake 内で行われますか。
ADF のドキュメントを読むと、コンピューティング自体は ADF 自体ではなく、リンクされたサービス (つまり Snowflake) で行われるようですが、これは ADF がデータを変換するときにデータが Snowflake から出ないことを意味するのでしょうか?
質問が明確でない場合はお知らせください。ありがとうございます!
答え1
シナリオ 2 では、データは Snowflake に渡され、そこで変換されます。ADF にはここではオーケストレーターの役割のみがあり、アクション 2 では出力トラフィックはありません。