Eu vou construir pipelines ETL no databricks com spark

Oi, sou um Consultor de Engenharia de Dados com mais de 5 anos construindo pipelines de dados em produção no Databricks.

Já projetei cargas de trabalho reais no Databricks em produção, incluindo uma Plataforma de Dados de Clientes processando grandes conjuntos de dados com PySpark, Delta Live Tables e arquitetura medallion. Eu uso o Databricks diariamente, não só como uma palavra da moda.

O que vou construir para você:

• Pipelines ETL de ponta a ponta (batch ou streaming)
• Arquitetura medallion Bronze Silver Gold
• Delta Lake com ACID, evolução de esquema, viagem no tempo
• Transformações PySpark otimizadas
• Ingestão de APIs, SQL Server, MySQL, Postgres, ADLS, S3, GCS, CSV, JSON, Parquet
• Cargas incrementais com MERGE INTO e CDC
• Autoloader, agendamento de jobs, orquestração de workflows
• Código limpo, modular e com controle de versões

Por que trabalhar comigo:

• Experiência real em produção, não apenas tutoriais
• 5 anos usando Databricks, Fabric, dbt, BigQuery, Synapse
• Código parametrizado, testável e reutilizável
• Documentação com cada entrega
• Inglês fluente e atualizações detalhadas

Pilha tecnológica:

• Databricks
• PySpark
• Delta Lake
• DLT
• Unity Catalog
• ADLS
• S3
• SQL Server
• Python
• Git

Antes de fazer seu pedido:

Me envie uma mensagem com seus requisitos completos.