Snowflake(Azure 기반) 내에서 데이터를 변환하기 위해 Azure Data Factory를 사용하는 효율성을 이해하려고 합니다. 두 가지 가능한 시나리오가 있으며 가장 효율적인 시나리오를 선택하려고 합니다.
시나리오 1:
- Data Factory는 원시 데이터를 Azure SQL로 수집하도록 조정합니다.
- Data Factory는 Azure SQL의 원시 데이터를 Snowflake의 요약 테이블로 변환하고 로드하는 작업을 오케스트레이션합니다. 기록 원시 데이터는 Azure SQL에 보관됩니다.
시나리오 2:
- Data Factory는 원시 데이터를 Snowflake로 수집하도록 조정합니다.
- Data Factory는 Snowflake의 원시 데이터를 Snowflake의 요약 테이블로 변환하는 작업을 조정합니다. 역사적인 원시 데이터는 Snowflake에 보관됩니다.
시나리오 2에서는 변환 단계에서 Snowflake에서 ADF(데이터 세트)로 원시 데이터를 송신할 때 추가 비용이 발생합니까, 아니면 데이터 세트 송신 없이 Snowflake에서 모두 발생합니까?
ADF 문서를 읽으면 컴퓨팅 자체가 ADF 자체가 아닌 연결된 서비스(예: Snowflake)에서 발생하는 것으로 보입니다. 하지만 이는 ADF가 데이터를 변환할 때 데이터가 Snowflake를 떠나지 않는다는 의미입니까?
질문이 명확하지 않은 경우 알려주십시오. 감사해요!
답변1
시나리오 2의 경우 데이터가 Snowflake로 전달되어 그곳에서 변환됩니다. ADF에는 여기서 오케스트레이터 역할만 있고 작업 2에는 송신 트래픽이 없습니다.