11-02-02 — OneLake Mirroring: SharePoint, Databricks, Snowflake, SAP, Oracle
TL;DR
OneLake Mirroring replica dados de fontes externas para o OneLake em tempo quase-real usando Change Data Capture (CDC) — sem pipelines ETL. É zero-ETL: você configura a conexão e os dados aparecem no Fabric em minutos, atualizados continuamente. Suporta Azure SQL, SQL Server, Snowflake, Azure Cosmos DB, e em 2025 expandiu para Databricks, SAP e Oracle. Para empresas com dados críticos em SAP ou Oracle, isso elimina projetos de integração de meses.
Como o Mirroring funciona
por cada fonte] OL[OneLake
Delta Parquet] end SNF & ADB & SAP & ORA & SQL & COSMOS -->|CDC / log-based| CDC CDC --> OL OL --> LH[Lakehouse / Warehouse] OL --> DA[Data Agents] OL --> PBI[Power BI]
Fontes suportadas em 2025
| Fonte | Mecanismo CDC | Latência | Status |
|---|---|---|---|
| Azure SQL Database | CDC nativo SQL Server | < 1 min | GA |
| SQL Server on-premises | CDC + On-prem Gateway | < 5 min | GA |
| Azure Cosmos DB | Change Feed | < 1 min | GA |
| Snowflake | Snowflake Streams | < 5 min | GA |
| Azure Databricks | Delta Sharing | < 5 min | GA (2025) |
| SAP S/4HANA | ODP / ABAP CDC | < 15 min | Preview 2025 |
| Oracle | Oracle Redo Log CDC | < 15 min | Preview 2025 |
Configurando Mirroring com Snowflake
O caso mais simples para demonstrar o conceito:
- No Fabric Workspace → New → Mirrored Snowflake
- Configurar connection string do Snowflake (account, database, schema)
- Selecionar tabelas para espelhar
- Iniciar — a sincronização inicial pode levar horas para grandes volumes
- Após initial load, CDC mantém sincronizado continuamente
Mirroring vs Pipelines: quando usar cada
| Critério | Mirroring | Pipeline + Copy |
|---|---|---|
| Latência | Minutos (CDC) | Depende do agendamento |
| Transformação | Nenhuma (raw) | Total controle |
| Custo | Incluído na capacidade Fabric | Compute do Spark |
| Complexidade | Mínima (zero-code) | Alta (dev necessário) |
| Fontes suportadas | Lista limitada | Qualquer via JDBC/API |
| Ideal para | Dados transacionais que mudam frequentemente | ETL complexo, transformações |
Shortcut: alternativa ao Mirroring
Para dados que não precisam de CDC mas precisam estar acessíveis no Fabric sem cópia, use OneLake Shortcuts. Um Shortcut é um ponteiro para dados externos (AWS S3, Azure Data Lake, GCS) que aparecem no Fabric como se fossem locais — sem mover os dados.
Como isso se conecta
- 11-01-03 — Dados espelhados chegam na camada Bronze da Medallion
- 11-03-04 — Dados do Fabric (incluindo espelhados) são acessíveis pelo Azure AI Foundry
- 11-04-02 — O desafio usa pipeline (SAP ainda em Preview para Mirroring)