eu vou construir ou corrigir seus pipelines de dados do azure databricks e pyspark
Engenheiro de Dados Azure Databricks e PySpark
Sobre este Serviço
Precisa de um pipeline confiável no Azure Databricks, ou de um que esteja falhando com frequência? Sou engenheiro de dados de Azure, com cerca de 4 anos construindo pipelines de lakehouse em produção no Databricks, PySpark, Azure Data Factory, Delta Lake e Unity Catalog.
O que eu faço:
- Novos pipelines: ingerir arquivos, APIs ou bancos de dados para o Delta Lake (bronze, silver, gold)
- Consertar notebooks, jobs e pipelines ADF que estão falhando
- Cargas incrementais, merges e upserts (SCD), evolução de schema
- Checagens de qualidade de dados, logging e alertas
- Documentação clara para sua equipe conseguir rodar
Como trabalhamos: compartilhe seu notebook ou código e dados de amostra (dados fictícios basta), ou me dê acesso ao workspace com menor privilégio através do seu admin. Por favor, nunca envie senhas ou chaves.
Eu uso ferramentas com apoio de IA, e cada entrega é testada e documentada por mim.
Por favor, me mande uma mensagem antes de encomendar para eu confirmar o escopo e o prazo.
Ferramentas e plataformas:
Fábrica de dados do Azure
Perguntas frequentes
Tradução automática
Você precisa da minha senha do Azure ou do Databricks?
Não. Compartilhe o código e dados de amostra, ou peça ao seu admin para me dar um usuário de menor privilégio no seu workspace. Eu nunca pego senhas ou chaves.
Você pode trabalhar na AWS ou GCP em vez de Azure?
Sim, para Databricks e PySpark em qualquer nuvem. Minha experiência mais profunda é com Azure, então por favor me mande uma mensagem primeiro com a sua configuração.
