Eu vou construir um pipeline de ETL automatizado usando python e airflow
Cientista de Dados Júnior, Engenheiro de ML, Python, Pipelines ETL
Sobre este Serviço
Seu dado está em APIs ou arquivos sem uma forma automatizada de coletar e armazenar? Eu construo pipelines de ETL prontos para produção usando Apache Airflow 3 e Python que extraem, transformam e carregam seus dados em uma programação, totalmente automatizado, sem trabalho manual.
O que eu entrego:
- Pipeline automatizado com tarefas independentes de extração, transformação e carga
- Apache Airflow 3 com API TaskFlow e agendamento diário
- Pilha Docker multi-container para implantação limpa e reproduzível
- Banco de dados PostgreSQL com registros estruturados e consultáveis
- Código fonte completo entregue via GitHub
Por que me escolher? Tenho uma publicação revisada por pares na conferência IEEE, duas certificações DataCamp (Data Scientist Certificado e Associate Data Scientist Certificado) e um estágio de pesquisa em um laboratório de IA no Reino Unido. Meu pipeline de ETL roda ao vivo em produção, acumulando mais de 365 registros estruturados por ano, sem intervenção manual.
Eu trabalho com: APIs REST e fontes de dados baseadas em arquivos, carregando em PostgreSQL.
Nota: Por favor, envie uma mensagem antes de fazer o pedido para discutir sua fonte de dados e requisitos.
Destination Platform:
PostgreSQL
•
mySQL
Ferramentas e plataformas:
Outros
Meu portfólio
Perguntas frequentes
Tradução automática
Com quais fontes de dados você pode se conectar?
Atualmente APIs REST. Se você tiver uma fonte diferente, como arquivos CSV ou um banco de dados, envie uma mensagem primeiro e podemos discutir a viabilidade.
Preciso ter o Apache Airflow já instalado?
Não. Eu configurarei o ambiente do pipeline para você, incluindo configuração do Docker se necessário.
O pipeline vai rodar automaticamente sem eu fazer nada?
Sim. Os pacotes Padrão e Premium incluem automação totalmente agendada usando Apache Airflow que roda na sua programação definida, sem necessidade de acionamento manual.
Receberei o código fonte?
Sim, todos os pacotes incluem o código fonte completo em Python e os arquivos DAG.
Você consegue trabalhar com meu banco de dados existente?
Sim, desde que você possa fornecer credenciais de conexão de forma segura. Recomendo discutir isso antes de fazer o pedido.

