Eu vou construir pipelines de dados na AWS e ETL com python, airflow e dbt

As pipelines de dados são fáceis de montar, mas difíceis de manter funcionando. Eu crio aquelas que sobrevivem a mudanças de esquema, arquivos atrasados e segundas-feiras de manhã.

Sou um Engenheiro Líder de Dados e IA com mais de 9 anos de experiência. Já desenvolvi plataformas de dados na Amazon, Delivery Hero, Goldman Sachs e Orion, e possuo 13 certificações em nuvem, incluindo AWS Data Engineer Associate e AWS Solutions Architect.

O QUE EU FAÇO PARA VOCÊ

Ingestão de APIs, bancos de dados, S3, ferramentas SaaS e streams de eventos

Orquestração em Airflow, Dagster ou AWS Step Functions

Transformações como modelos dbt com testes e documentação

Cargas incrementais, backfills e reruns que podem ser repetidos com segurança

Verificações de qualidade de dados e alertas, para que as falhas cheguem até você e não aos seus clientes

Infraestrutura como código em Terraform, com CI/CD

STACK

Python, SQL, Airflow, dbt, AWS Glue, Spark, Kafka, Snowflake, Redshift, BigQuery, Terraform

O QUE VOCÊ RECEBE

Código documentado no seu próprio repositório, um runbook e uma call de entrega.

Me diga suas fontes, seus volumes e quão atual os dados precisam estar, e eu te direi honestamente o que é necessário.