Eu vou construir um pipeline de ETL automatizado usando python e airflow

Pare de tomar decisões de negócio com dados confusos e pouco confiáveis.

Sou um Engenheiro de Dados especializado no Modern Data Stack. Construo pipelines de dados robustos, idempotentes e totalmente automatizados que transformam entradas brutas e não estruturadas em dados limpos e prontos para análise.

Seja para um script simples para mover dados de API ou um data lake completo com "Medallion Architecture", eu projeto sistemas que escalam.

Minha expertise e stack tecnológica:

• Orquestração: Apache Airflow
• Streaming em tempo real: Apache Kafka
• Transformações e qualidade: dbt Core (testes automatizados e modelagem de dados)
• Armazenamento: PostgreSQL, AWS S3, MinIO
• Infraestrutura: Docker Compose, Terraform (AWS EC2, RDS)
• Visualização: integrações com Metabase

O que você pode esperar:

• Confiabilidade: Pipelines que lidam com falhas de forma elegante, com retries automáticos.
• Qualidade dos dados: Testes embutidos no dbt (verificações de null, unicidade) para que você só consulte dados precisos.
• Entrega limpa: Código totalmente containerizado (Docker) com documentação detalhada (README.md) para fácil implantação nos seus próprios servidores.

Por favor, envie uma mensagem antes de fazer seu pedido para que possamos discutir suas fontes de dados específicas e requisitos do seu negócio!