Eu vou construir um pipeline de ETL automatizado usando python e airflow

Algumas informações foram traduzidas automaticamente.

Bangladesh

Eu falo Bengali, Inglês

Cientista de Dados Júnior, Engenheiro de ML, Python, Pipelines ETL

Sou Cientista de Dados e Engenheiro de Dados, recém-formado pela AIUB (CGPA: 3.98/4.00), com uma publicação revisada por pares na IEEE e duas certificações do DataCamp — Data Scientist Certificado e A...
Sobre este Serviço

Seu dado está em APIs ou arquivos sem uma forma automatizada de coletar e armazenar? Eu construo pipelines de ETL prontos para produção usando Apache Airflow 3 e Python que extraem, transformam e carregam seus dados em uma programação, totalmente automatizado, sem trabalho manual.


O que eu entrego:

  • Pipeline automatizado com tarefas independentes de extração, transformação e carga
  • Apache Airflow 3 com API TaskFlow e agendamento diário
  • Pilha Docker multi-container para implantação limpa e reproduzível
  • Banco de dados PostgreSQL com registros estruturados e consultáveis
  • Código fonte completo entregue via GitHub


Por que me escolher? Tenho uma publicação revisada por pares na conferência IEEE, duas certificações DataCamp (Data Scientist Certificado e Associate Data Scientist Certificado) e um estágio de pesquisa em um laboratório de IA no Reino Unido. Meu pipeline de ETL roda ao vivo em produção, acumulando mais de 365 registros estruturados por ano, sem intervenção manual.


Eu trabalho com: APIs REST e fontes de dados baseadas em arquivos, carregando em PostgreSQL.


Nota: Por favor, envie uma mensagem antes de fazer o pedido para discutir sua fonte de dados e requisitos.

Destination Platform:

PostgreSQL

mySQL

Ferramentas e plataformas:

Outros

Meu portfólio