Vou construir pipelines de ETL e soluções de engenharia de dados no Databricks

Engenheiro de Dados com mais de 3 anos de experiência prática na construção de pipelines de produção no Azure.

Sou especializado em projetar e implementar fluxos de trabalho de dados escaláveis usando Azure Data Factory, Databricks, PySpark e Delta Lake, desde a ingestão bruta até modelos de dados na camada Gold prontos para análise.

O que posso criar para você:

Pipelines de ETL/ELT orientados por metadata no Azure Data Factory

Arquitetura Medallion (Bronze, Silver, Gold) no Databricks

Pipelines de streaming em tempo real usando Azure Event Hubs (compatível com Kafka)

Design de data warehouse em estrela / dados dimensionais

SCD Tipo 1 e Tipo 2 para rastreamento de mudanças com autoCDC do Databricks

Transformações complexas em SQL, PySpark e procedimentos armazenados

Integrações com API REST/SOAP usando Postman para testes

Configuração do Unity Catalog e governança de dados

Pilha de tecnologia:

Python · PySpark · SQL · Azure Data Factory · Azure Databricks · Azure Data Lake Gen2 · Delta Lake · Unity Catalog · Event Hubs · Power BI

Destaques anteriores:

Publicação de pipelines na camada de publicação na Oracle

Melhoria na eficiência da API em 50% via processamento direto no backend

Redução do tempo de execução do Spark em 30% através de otimização de partições

Construção de uma plataforma de análise em tempo real para transporte por aplicativo na Azure