Serei seu engenheiro de dados para pipelines ETL e data lakehouse

Pipelines falhando durante a noite? Relatórios rodando com dados de ontem?

Eu crio pipelines de Azure Databricks em produção que rodam na agenda, se recuperam de falhas automaticamente e mantêm um registro completo de auditoria.

Sou um profissional certificado em Databricks e engenheiro de dados certificado pela Azure, com mais de 7 anos de experiência em seguros, saúde e serviços financeiros.

O que vou construir para você:

• Pipelines ETL/ELT no Azure Databricks, ADF e PySpark
• Arquitetura Medallion (Bronze, Silver, Gold) no Delta Lake
• Governança do Unity Catalog e rastreamento de histórico SCD Tipo 2
• Alertas de falha, registros de auditoria e reconciliação de dados
• Agendamento, CI/CD e documentação de entrega

Projetos recentes no Azure Databricks:

• Slide Insurance: migramos de dados diários para dados horários em mais de 900 tabelas, com recuperação automática de falhas e alertas antes que dados ruins chegassem ao Power BI
• Verto Health: construí um pipeline baseado em metadata que adiciona novas fontes de dados hospitalares sem precisar alterar o código, com histórico completo de auditoria no Unity Catalog

Como funciona:

1. Compartilhe sua fonte, destino e número de tabelas
2. Reviso seus dados e confirmo o escopo
3. Construo, testo e entrego um pipeline funcional

Projeto maior ou migração? Me envie uma mensagem para um orçamento personalizado.