Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Vou construir pipelines de etl para engenharia de dados usando apache airflow
Cientista de Dados Júnior, Engenheiro de ML, Python, Pipelines ETL
Sou Cientista de Dados e Engenheiro de Dados, recém-formado pela AIUB (CGPA: 3,98/4,00), com publicação em conferência revisada por pares na IEEE e duas certificações do DataCamp, Cientista de Dados C...
Sobre este Serviço
Seu dado está em APIs ou arquivos sem uma forma automatizada de coletar e armazenar? Eu crio pipelines ETL prontos para produção e fluxos de trabalho de engenharia de dados usando Apache Airflow 3, Python e SQL que extraem, transformam e carregam seus dados de forma agendada, totalmente automatizada, sem trabalho manual.
O que eu entrego:
- Pipeline automatizado com tarefas independentes de extração, transformação e carga
- Apache Airflow 3 com TaskFlow API e agendamento diário
- Pilha Docker multi-container para uma implantação limpa e reprodutível
- Banco de dados PostgreSQL ou MySQL com registros estruturados e consultáveis
- Código fonte completo entregue via GitHub
Por que me escolher? Tenho uma publicação revisada por pares na conferência IEEE, duas certificações DataCamp (Data Scientist Certificado e Associate Data Scientist Certificado) e um estágio de pesquisa em um laboratório de IA no Reino Unido. Minha pipeline de dados ETL roda ao vivo em produção, acumulando mais de 365 registros estruturados por ano, sem intervenção manual.
Eu trabalho com: APIs REST e fontes de dados baseadas em arquivos, carregando dados em bancos de dados SQL como PostgreSQL ou MySQL.
Nota: Por favor, envie uma mensagem antes de fazer o pedido para discutir sua fonte de dados e requisitos.
Destination Platform:
PostgreSQL
•
mySQL
Ferramentas e plataformas:
Outros
Meu portfólio
Perguntas frequentes
Tradução automática
Com quais fontes de dados você pode se conectar?
Atualmente APIs REST. Se você tiver uma fonte diferente, como arquivos CSV ou um banco de dados, envie uma mensagem primeiro e podemos discutir a viabilidade.
Você faz engenharia de dados completa ou só scripts básicos de ETL?
Engenharia de dados completa: arquitetura de pipeline, orquestração com Apache Airflow, containerização com Docker e código pronto para produção, não um script isolado.
Preciso ter o Apache Airflow já instalado?
Não. Eu configurarei o ambiente do pipeline para você, incluindo configuração do Docker se necessário.
O pipeline vai rodar automaticamente sem eu fazer nada?
Sim. Os pacotes Padrão e Premium incluem automação totalmente agendada usando Apache Airflow que roda na sua programação definida, sem necessidade de acionamento manual.
Receberei o código fonte?
Sim, todos os pacotes incluem o código fonte completo em Python e os arquivos DAG.
Você consegue trabalhar com meu banco de dados existente?
Sim, desde que você possa fornecer credenciais de conexão de forma segura. Recomendo discutir isso antes de fazer o pedido.
O pipeline verifica dados ruins ou inválidos?
Sim. Os dados que entram são validados antes de serem carregados, verificando tipos, campos obrigatórios e valores claramente inválidos, assim um registro malformado é detectado ao invés de entrar silenciosamente no seu banco de dados.
O que acontece se uma etapa do pipeline falhar?
Cada tarefa tenta novamente algumas vezes automaticamente antes de falhar, e você pode receber um alerta por e-mail se uma execução acabar falhando, assim os problemas são detectados na hora e não dias depois.
