Ich versuche, die Effizienz der Verwendung von Azure Data Factory zum Transformieren von Daten in Snowflake (Azure-basiert) zu verstehen. Wir haben zwei mögliche Szenarien und möchten das effizienteste auswählen:
Szenario 1:
- Data Factory orchestriert die Aufnahme von Rohdaten in Azure SQL
- Data Factory orchestriert die Transformation und das Laden von Rohdaten in Azure SQL in Übersichtstabellen in Snowflake. Historische Rohdaten werden in Azure SQL gespeichert.
Szenario 2:
- Data Factory orchestriert die Aufnahme von Rohdaten in Snowflake
- Data Factory orchestriert die Transformation von Rohdaten in Snowflake in Übersichtstabellen in Snowflake. Historische Rohdaten werden in Snowflake gespeichert.
Entstehen in Szenario 2 zusätzliche Kosten beim Auslesen der Rohdaten aus Snowflake in ADF (Datensätze) im Transformationsschritt oder erfolgt dies alles in Snowflake ohne Datensatzauslesen?
Beim Lesen der ADF-Dokumentation scheint es so, als ob die Berechnung selbst auf dem verknüpften Dienst (also Snowflake) und nicht innerhalb von ADF selbst erfolgt. Bedeutet das aber, dass die Daten Snowflake nicht verlassen, wenn ADF sie transformiert?
Wenn die Frage unklar ist, lassen Sie es mich wissen. Danke!
Antwort1
Für Szenario 2 werden Daten an Snowflake übergeben und dort transformiert. ADF hat hier nur eine Orchestrator-Rolle und keinen ausgehenden Datenverkehr mit Aktion 2.