Vou desenvolver soluções de ETL em azure databricks pyspark e delta lake
Power BI, Microsoft Fabric e Engenheiro de Dados Azure
Sobre este Serviço
Engenheiro de Dados Certificado pela Databricks, oferecendo desenvolvimento de PySpark e Delta Lake no Azure Databricks e Microsoft Fabric.
O que posso fazer por você:
- Transformações em PySpark e conversão de SQL para PySpark
- Tabelas Delta Lake, MERGE/upserts e SCD Tipo 2
- Arquitetura Medallion (bronze, prata, ouro) com verificações de qualidade de dados
- Otimização de desempenho de notebooks, jobs e Spark SQL lentos
- Reconciliação para provar que seus números correspondem à fonte
Já trabalhei em uma migração empresarial para Azure Databricks e Microsoft Fabric, cuidando do mapeamento de origem para destino, lógica de transformação e validação de pipeline.
Compartilhe sua configuração de workspace e o problema que está resolvendo, e eu te darei um plano claro antes de você fazer o pedido.
Ferramentas e plataformas:
Fábrica de dados do Azure
Perguntas frequentes
Tradução automática
Você pode trabalhar em notebooks Microsoft Fabric ao invés de Databricks?
Sim. Escrevo código PySpark e Delta Lake para notebooks Spark tanto do Azure Databricks quanto do Microsoft Fabric.
