Estoy tratando de comprender la eficiencia del uso de Azure Data Factory para transformar datos dentro de Snowflake (basado en Azure). Tenemos dos escenarios posibles y queremos elegir el más eficiente:
Escenario 1:
- Data Factory organiza la ingesta de datos sin procesar en Azure SQL
- Data Factory organiza la transformación y carga de datos sin procesar en Azure SQL en tablas de resumen en Snowflake. Los datos históricos sin procesar se guardan en Azure SQL.
Escenario 2:
- Data Factory organiza la incorporación de datos sin procesar en Snowflake
- Data Factory organiza la transformación de datos sin procesar en Snowflake en tablas de resumen en Snowflake. Los datos históricos sin procesar se guardan en Snowflake.
¿El escenario 2 genera costos adicionales en la salida de datos sin procesar al ADF (conjuntos de datos) desde Snowflake en el paso de transformación o todo sucede en Snowflake sin la salida del conjunto de datos?
Al leer la documentación de ADF, parece que el cálculo en sí ocurre en el servicio vinculado (es decir, Snowflake), no dentro del propio ADF, pero ¿eso significa que los datos no salen de Snowflake cuando ADF los transforma?
Déjame saber si la pregunta no está clara. ¡Gracias!
Respuesta1
para el escenario 2, los datos se pasan a Snowflake y se transforman allí. ADF aquí solo tiene una función de orquestador y no tiene tráfico de salida con la acción 2.