Vou construir pipelines ETL em Python usando Airflow e dbt
IA, Dados e Desenvolvimento de Software, Apps, Agentes e Automação
Sobre este Serviço
Precisa automatizar coleta, transformação e carregamento de dados?
Vou criar pipelines ETL baseados em Python para mover dados de suas APIs, bancos de dados, planilhas e outras fontes para o destino que você escolher.
O que posso construir:
- extração de dados de APIs
- inserção de CSV e Excel
- integrações PostgreSQL e MySQL
- transformação de dados usando Python e SQL
- DAGs do Apache Airflow e agendamento
- modelos dbt e testes de dados
- carregamento de dados para BigQuery e PostgreSQL
- tratamento de erros, logs e documentação
- ambientes de desenvolvimento baseados em Docker
Sou engenheiro de dados e de software com mais de 7 anos de experiência construindo sistemas backend, aplicações de analytics e fluxos de dados automatizados.
Meu foco são pipelines confiáveis, fáceis de manter, testáveis e simples de operar.
Por favor, me mande uma mensagem antes de pedir para alinharmos as fontes de dados, destino, volume e requisitos de agendamento.
Meu portfólio
Perguntas frequentes
Tradução automática
Você consegue conectar APIs ao PostgreSQL ou BigQuery?
Sim. Posso extrair dados de APIs e carregá-los no destino de sua preferência.
Você consegue criar DAGs no Apache Airflow?
Sim. Posso criar DAGs com agendamento, dependências entre tarefas, tratamento de erros e logs.
Você suporta dbt?
Sim. Posso criar transformações SQL e testes básicos de qualidade de dados.
Você consegue consertar um pipeline ETL existente?
Sim. Envie uma descrição do problema antes de pedir.
A infraestrutura em nuvem está incluída?
Custos de infraestrutura e hospedagem na nuvem não estão inclusos. Posso fornecer suporte de implantação sob um escopo personalizado.
