Eu vou construir sua pipeline de dados ETL usando python, sql e apache airflow

Eu construo pipelines ETL/ELT confiáveis, de nível de produção, que movem e transformam seus dados sem erros ou tempo de inatividade. Na minha função atual como Engenheiro de Dados, criei pipelines sincronizando bilhões de registros entre sistemas com deduplicação em tempo real, sincronização completa e delta, e sem perda de dados em produção, além de montar clusters Apache NiFi para lidar com integração contínua de dados empresariais.

Se você precisa de um script simples para mover dados de um CSV para um banco de dados, ou uma pipeline agendada que puxe dados de uma API e carregue no seu data warehouse, vou projetá-la para ser limpa, documentada e fácil de passar para sua equipe.

O que posso ajudar: extração de dados de APIs, bancos de dados ou arquivos; transformação e limpeza; lógica de deduplicação e upsert; sincronizações agendadas e automatizadas; e migração entre bancos como MySQL, SQL Server e PostgreSQL.

Levo a mesma confiabilidade que uso em sistemas de produção suportando milhões de usuários para todo projeto aqui. Comunicação clara e código limpo e bem documentado estão sempre presentes na entrega.