Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Vou construir um pipeline de data lakehouse em tempo real
Desenvolvedor Python, FastAPI, Web Scraping, automação com IA, Engenharia de Dados
Sou um Engenheiro de Dados com mais de 3 anos de experiência na indústria criando APIs RESTful, sistemas de web scraping e aplicações alimentadas por IA. Sou especialista em FastAPI, Streamlit e LangG...
Sobre este Serviço
Quer criar um pipeline de dados em tempo real que mantém seu data warehouse sempre atualizado sem jobs manuais de ETL?
Vou projetar e entregar um pipeline de data lakehouse totalmente automatizado, de ponta a ponta, que captura toda mudança no seu banco de dados no momento em que acontece, transmite via Kafka e armazena como tabelas Delta Lake consultáveis, tudo orquestrado e monitorado pelo Apache Airflow.
O que você recebe:
- CDC ao vivo do seu banco MySQL (sem downtime, sem exportações manuais)
- Processamento de stream escalável com Apache Spark
- Armazenamento Delta Lake compatível com S3 (MinIO) consultável com Trino ou Spark SQL
- Airflow DAG para verificações de saúde automatizadas e monitoramento do pipeline
- Execuções totalmente Dockerizadas no seu servidor ou VM na nuvem
- Guia de configuração e documentação inclusos
Perfeito para startups, equipes de dados e negócios que precisam de disponibilidade de dados confiável em tempo real, sem gerenciar infraestrutura complexa do zero.
Meu portfólio
Perguntas frequentes
Tradução automática
Quais informações você precisa para começar?
Preciso de detalhes sobre seu banco de dados fonte (tipo, versão, tamanho), seu destino de armazenamento preferido e seu ambiente de servidor/nuvem. Se estiver em dúvida, uma ligação de descoberta gratuita pode ajudar a definir o escopo.
Você consegue conectar ao meu banco de dados existente sem downtime?
Sim. Usando CDC (Change Data Capture) via Debezium, o pipeline lê o log binário do seu MySQL — sem bloqueios, sem downtime, sem impacto na sua aplicação em execução.
O que o pipeline entrega em tempo real?
Cada INSERT, UPDATE e DELETE no seu banco fonte é capturado instantaneamente e armazenado em tabelas Delta Lake no MinIO (compatível com S3) em segundos — consultável via Spark SQL ou Trino.
Preciso de infraestrutura na nuvem ou funciona localmente?
Ambos. Toda a stack roda no Docker Compose — implemente no seu servidor local, uma VM na nuvem (AWS EC2, GCP, Azure) ou qualquer máquina Linux com mais de 8GB de RAM.
Você consegue lidar com mudanças de schema no meu banco fonte?
Sim. O pipeline foi criado pensando na evolução do schema. Configuro Debezium e Spark para lidar com novas colunas e mudanças de tipo de forma suave, sem quebrar o pipeline.
Você assina um NDA se meus dados forem sensíveis?
Com certeza. Posso assinar um NDA antes de começar o projeto.
Vocês oferecem suporte pós-entrega?
Sim — 7 dias (Básico), 14 dias (Padrão), 30 dias (Premium) para correções de bugs e problemas de implantação.
