Estou tentando entender a eficiência do uso do Azure Data Factory para transformar dados no Snowflake (baseado no Azure). Temos dois cenários possíveis e queremos escolher o mais eficiente:
Cenário 1:
- O Data Factory orquestra a ingestão de dados brutos no Azure SQL
- O Data Factory orquestra a transformação e o carregamento de dados brutos no Azure SQL para tabelas de resumo no Snowflake. Os dados brutos históricos são mantidos no Azure SQL.
Cenário 2:
- O Data Factory orquestra a ingestão de dados brutos no Snowflake
- O Data Factory orquestra a transformação de dados brutos no Snowflake em tabelas de resumo no Snowflake. Os dados brutos históricos são mantidos no Snowflake.
O cenário 2 incorre em custos adicionais na saída de dados brutos para ADF (conjuntos de dados) do Snowflake na etapa de transformação ou tudo isso acontece no Snowflake sem saída do conjunto de dados?
Lendo a documentação do ADF, parece que a computação em si acontece no serviço vinculado (ou seja, Snowflake), não dentro do próprio ADF, mas isso significa que os dados não saem do Snowflake quando o ADF os transforma?
Deixe-me saber se a pergunta não estiver clara. Obrigado!
Responder1
para o cenário 2, os dados são passados para o Snowflake e transformados lá. O ADF tem apenas uma função de orquestrador aqui e nenhum tráfego de saída com a ação 2.