Я пытаюсь понять эффективность использования Azure Data Factory для преобразования данных в Snowflake (на основе Azure). У нас есть два возможных сценария, и мы хотим выбрать наиболее эффективный:
Сценарий 1:
- Data Factory организует прием необработанных данных в Azure SQL
- Data Factory организует преобразование и загрузку необработанных данных в Azure SQL в сводные таблицы в Snowflake. Исторические необработанные данные хранятся в Azure SQL.
Сценарий 2:
- Data Factory организует прием необработанных данных в Snowflake
- Data Factory организует преобразование необработанных данных в Snowflake в сводные таблицы в Snowflake. Исторические необработанные данные хранятся в Snowflake.
Требует ли сценарий 2 дополнительных затрат на вывод необработанных данных в ADF (наборы данных) из Snowflake на этапе преобразования или все это происходит в Snowflake без вывода наборов данных?
Если читать документацию ADF, то становится ясно, что вычисления происходят на связанной службе (т. е. Snowflake), а не внутри самого ADF. Но означает ли это, что данные не покидают Snowflake, когда ADF преобразует их?
Дайте мне знать, если вопрос не ясен. Спасибо!
решение1
для сценария 2 данные передаются в Snowflake и преобразуются там. ADF здесь играет только роль оркестратора и не имеет исходящего трафика с действием 2.