Eu vou construir pipeline de dados no databricks com delta lake
Engenheiro de Dados, Certificado em Databricks e Fabric, com 4 anos de experiência
Sobre este Serviço
Precisa de um pipeline do Databricks pronto para produção, criado por um engenheiro certificado?
Engenheiro de Dados Certificado do Databricks com 4 anos de experiência, incluindo 2 anos no Reino Unido. Construo pipelines escaláveis seguindo as melhores práticas empresariais.
O QUE VOCÊ RECEBE:
Arquitetura Medallion (Bronze-Silver-Gold)
Delta Lake para transações ACID
Governança do Unity Catalog
Workflows automatizados
Testes de qualidade de dados
Otimização de desempenho
Documentação completa
CAPACIDADES TÉCNICAS:
- Implementação completa do pipeline Medallion
- Delta Live Tables
- Streaming em tempo real com Spark
- Integração de múltiplas fontes de dados
- Transformações PySpark
- Tratamento de erros e monitoramento
- Implantação no Azure Databricks
FONTES DE DADOS:
CSV, JSON, Parquet, Azure Blob/ADLS, bancos de dados SQL, APIs REST, streaming (Kafka, Event Hubs)
POR QUE EU:
- Certificado em Databricks & Fabric
- 4 anos de experiência profissional
- Padrões empresariais treinados no Reino Unido
- Qualidade de nível produção
- Suporte pós-entrega
Já construí mais de 5 pipelines de produção no databricks processando milhões de registros por dia.
Envie uma mensagem antes de fazer o pedido para discutir seus requisitos!
Ferramentas e plataformas:
Fábrica de dados do Azure
•
Outros
Meu portfólio
Outros serviços de Engenharia de Dados que eu ofereço
Perguntas frequentes
Tradução automática
O que preciso fornecer para começar?
Suas fontes de dados (arquivos, credenciais de banco de dados ou detalhes da API), requisitos de negócio, transformações desejadas e quaisquer KPIs específicos que queira acompanhar. Eu te guiarei pelo restante e desenharei a arquitetura.
Você fornece o código e os notebooks do databricks?
Sim! Você recebe todos os notebooks do databricks, configurações de workflow e documentação completa. Tudo é seu para modificar e manter.
Você pode trabalhar com minha infraestrutura existente no Azure?
Com certeza! Posso integrar com seus recursos existentes no Azure (Contas de Armazenamento, bancos de dados SQL, Event Hubs, etc.) e seguir os padrões e políticas de segurança da sua organização.
O que está incluído na configuração do Unity Catalog?
A configuração do Unity Catalog inclui configuração do workspace, criação do metastore, políticas de governança de dados, controles de acesso e rastreamento de linhagem. Disponível nos pacotes Padrão e Premium.
Você oferece suporte após o parto?
Sim! Todos os pacotes incluem suporte pós-entrega. O padrão cobre 30 dias, o Premium cobre 60 dias. Estou disponível para responder perguntas e ajudar com ajustes menores.

