Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Vou ser seu especialista em databricks e pyspark para pipelines de ETL
Engenheiro sênior de Dados e IA, Certificado pela Databricks, 11 anos
Sou um profissional experiente com mais de 11 anos em engenharia de software e dados. Tenho um histórico comprovado de liderar equipes ágeis, automatizar processos de ETL e infraestrutura, otimizar pi...
Sobre este Serviço
Precisa de pipelines do Databricks à prova de falhas que não quebrem às 3 da manhã? Você está no lugar certo.
Sou um Engenheiro de Dados Certificado pelo Databricks (Profissional) com mais de 10 anos construindo sistemas de dados em produção para empresas de negociação de energia, bancos, varejo e análise de criptomoedas, incluindo OVO Energy, Bank of America e Sainsbury's.
O que vou criar para você:
- ️Pipelines escaláveis em PySpark / Scala Spark no Databricks
- Arquitetura DeltaLake (bronze/prata/ouro)
- ETL em streaming + batch com Kafka, Auto Loader ou Structured Streaming
- Configurações de cluster otimizadas para custo (já economizei mais de £80k por ano em nuvem)
- Código limpo, testado e documentado que você pode passar para sua equipe
Minha stack: Databricks, PySpark, Scala, DeltaLake, Airflow, Kafka, Snowflake, BigQuery, Terraform, AWS, GCP.
Meu processo: Chamada de descoberta -> aprovação da arquitetura -> construção -> teste -> revisão -> entrega. Sem surpresas, sem aumento de escopo.
Me envie uma mensagem antes de fazer o pedido para que eu possa definir o escopo do seu projeto corretamente e confirmar se é compatível. Respondo em até 1 hora durante o horário comercial do Reino Unido.
Vamos construir algo sólido.
Perguntas frequentes
Tradução automática
Quais informações você precisa para começar?
Localização e formato dos dados de origem, destino alvo, dados de exemplo (anônimos estão OK), estimativas de volume e requisitos de SLA. Enviarei um modelo de breve descrição após o pedido.
Você pode trabalhar com minha configuração de nuvem existente?
Sim — trabalho com Databricks hospedado na AWS, GCP e Azure. Trabalharei dentro do seu ambiente usando credenciais de leitura que você fornecer.
Você assina NDAs?
Com certeza. Envie seu NDA antes de pedir e eu revisarei e assinarei.
E se eu ainda não tiver dados?
Sem problema — posso criar dados realistas para desenvolvimento e você pode trocar pelos dados de produção depois.
Você trabalha com pipelines de streaming em tempo real?
Sim — Integrações com Structured Streaming, Auto Loader e Kafka são pontos fortes.
O que acontece depois do parto?
Você recebe uma demonstração (ligação ou Loom), todo o código fonte, README e 14 dias de suporte por email para dúvidas. A camada premium inclui uma ligação de entrega de 30 minutos.
Que suporte recebo após a entrega?
Cada serviço inclui 14 dias de suporte por email — eu respondo às perguntas em até 24 horas, e se algo que eu criei não estiver funcionando como esperado, vou consertar rapidinho sem cobrar nada a mais. O pacote Premium adiciona uma ligação de entrega de 30 minutos para que você e sua equipe fiquem totalmente à vontade para gerenciar e ampliar o trabalho.
