Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Vou construir um pipeline de ETL na databricks com delta lake para seu data warehouse
Engenheiro de Software, Engenheiro de Dados
Sou engenheiro de software e dados com experiência em produção na construção de sistemas de nível empresarial em plataformas de nuvem.
Como engenheiro de dados, já trabalhei com lakehouse e arquitetu...
Sobre este Serviço
A maioria dos pipelines de dados falha silenciosamente. Sem trilha de auditoria, sem verificações de qualidade,
um script fazendo tudo. Seus analistas executam a mesma consulta duas vezes
e obtêm números diferentes.
Eu construo pipelines que não fazem isso.
O QUE VOCÊ RECEBE
Arquitetura medallion no Databricks + Delta Lake:
- Bronze: dados brutos chegam de forma imutável. Seu ponto de recuperação.
- Silver: cada linha passa por uma verificação de qualidade. Falhas são registradas.
- Gold: tabelas Delta agregadas, prontas para BI. Rápido. Confiável.
Orquestrado como um DAG de Workflow do Databricks totalmente automatizado.
POR QUE FUNCIONA
- Reexecutar de forma idempotente nunca duplica ou perde dados
- Métricas de DQ auditáveis, registradas e consultáveis
- Recuperável, qualquer camada pode ser reconstruída a partir do Bronze
EU TRABALHO COM
Fontes: CSV, Parquet, JSON, REST API, PostgreSQL, S3, ADLS
Plataformas: Databricks no Azure ou AWS
ANTES DE PEDIR
Me envie uma mensagem primeiro com sua fonte de dados e sua questão de negócio.
Eu confirmo o escopo antes de você fazer o pedido. Sem surpresas.
Meu portfólio
Perguntas frequentes
Tradução automática
Ainda não tenho Databricks, você pode me ajudar a configurá-lo?
Com certeza. A versão Community do Databricks é gratuita e leva cerca de 20 minutos para configurar. Incluirei instruções de configuração na sua entrega, se necessário.
Meus dados estão em um banco de dados (Postgres/MySQL), não em arquivos. Isso funciona?
Sim. Eu conecto o Databricks via JDBC e faço a ingestão diretamente no pipeline. Mencione isso na sua mensagem para que eu possa definir o escopo corretamente.
E se eu estiver na AWS em vez do Azure?
A arquitetura e o código são idênticos em todas as nuvens. Apenas o caminho de armazenamento muda (S3 vs ADLS). Todos os pacotes funcionam em ambos.
Minha equipe vai conseguir manter isso?
Sim. Cada entrega inclui um Architecture Decision Record explicando o que cada notebook faz e por quê. Os planos Standard e Premium incluem um repositório comentado no GitHub.
