Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Vou construir um pipeline ELT com python, airflow e dbt
Engenheiro de Dados, Pipelines ETL, Python, Airflow e dbt
Construo pipelines de dados prontos para produção, fluxos de trabalho ELT e modelos de dados prontos para análise para startups e empresas que precisam de infraestrutura confiável. Certificado em Micr...
Sobre este Serviço
Se seus dados estão dispersos em várias fontes sem um pipeline confiável para mover, limpar e entregar onde precisa,
eu construo pipelines de ETL e ELT prontos para produção usando Python, Apache Airflow e dbt, automatizados, testados e documentados para que sua equipe possa mantê-los sem minha ajuda.
O QUE VOCÊ RECEBE:
- Pipeline ETL/ELT personalizado de acordo com suas fontes de dados
- DAGs do Apache Airflow com agendamento e lógica de retry
- Modelos de transformação do dbt com testes de qualidade de dados
- Padrões de carga incremental e completa
- Código versionado no Git, bem documentado
- Entrega para Snowflake, BigQuery, Redshift ou Postgres
POR QUE ME ESCOLHER:
Sócio certificado de dados pela Microsoft. Construi o Medallion Lakehouse na Microsoft Fabric. Proficiente em Python, SQL, PySpark, Airflow, dbt, Kafka, Snowflake e BigQuery.
Cada pipeline que entrego roda em produção, não só em um notebook.
Me envie uma mensagem antes de fazer o pedido para confirmar se sua stack é compatível.
Perguntas frequentes
Tradução automática
Com quais fontes de dados você pode se conectar?
Posso construir pipelines ETL a partir de APIs REST, PostgreSQL, MySQL, MongoDB, arquivos planos (CSV, JSON, Parquet), Google Sheets, S3 e a maioria das plataformas SaaS. Se você tiver uma fonte específica, me envie uma mensagem antes de fazer o pedido.
Quais data warehouses você suporta?
Entrego para Snowflake, Google BigQuery, Amazon Redshift, PostgreSQL, Microsoft Fabric e Azure Synapse. Também posso direcionar para formatos Delta Lake ou Apache Iceberg em armazenamento na nuvem.
Você usa Apache Airflow para orquestração?
Sim. Construo DAGs do Airflow com agendamento, lógica de retry, alertas e gerenciamento de dependências. Também posso usar Prefect, se preferir uma ferramenta de orquestração mais leve.
O que é dbt e eu preciso dele?
dbt (data build tool) gerencia a camada de transformação no seu pipeline ELT usando SQL. Adiciona testes de qualidade de dados, auto-documentação e controle de versão. Recomendo para qualquer projeto baseado em data warehouse.
O pipeline será executado automaticamente em uma programação?
Sim. Todos os pipelines incluem agendamento automatizado via Airflow ou cron. Você escolhe a frequência — a cada hora, diariamente ou acionado por evento — e eu configuro de acordo.
Você fornece documentação?
Sim. Cada entrega inclui um README, documentação gerada automaticamente pelo dbt e comentários inline no código. Assim, você poderá entender, ampliar e manter o pipeline sem minha ajuda.
Você consegue trabalhar com minha stack de dados existente?
Sim. Me envie sua stack atual antes de fazer o pedido e confirmarei a compatibilidade. Já trabalhei com ambientes AWS, GCP e Azure e posso integrar na maioria das configurações existentes.
Você trabalha com pipelines de streaming em tempo real?
Sim. O pacote Premium inclui Apache Kafka para pipelines de eventos em tempo real. Se precisar de streaming em uma escala menor, me envie uma mensagem e farei um orçamento.
O que você precisa de mim para começar?
Preciso das suas fontes de dados, do warehouse de destino, da lógica de transformação ou regras de negócio, e das credenciais de acesso. Após o pedido, fornecerei uma lista de verificação.
O código é controlado por versão?
Sim. Todo o código é entregue via repositório Git com histórico de commits limpo. Sigo as melhores práticas de engenharia de software — nada de zip com scripts soltos.
