Eu vou criar pipelines de dados escaláveis ETL ELT com python airflow spark AWS azure

Vou criar pipelines de dados escaláveis ETL ELT com Python, Airflow, Spark, AWS, Azure e GCP.

Com mais de 10 anos de experiência em Engenharia de Dados, IA e Análise de Dados, projetei e desenvolvi pipelines de dados de ponta a ponta do zero para várias empresas de tecnologia. Tenho 9 publicações revisadas por pares (incluindo 1 publicação premiada em IA), o que me confere profundo conhecimento técnico e habilidades de resolução de problemas baseadas em pesquisa.

Está enfrentando dificuldades com processos manuais, fluxos de dados pouco confiáveis ou problemas de escalabilidade? Eu construo pipelines ETL/ELT robustos e automatizados que entregam dados limpos e pontuais para análises e aplicações de IA.

O que você vai receber:

• Pipeline de dados em batch e em tempo real de ponta a ponta
• Orquestração usando Airflow, Prefect ou Dagster
• Integração com bancos de dados, APIs, SaaS e fontes na nuvem
• Transformações avançadas com Python, SQL, PySpark e dbt
• Implantação na AWS, Azure, GCP ou Databricks
• Monitoramento, logs, tratamento de erros e pipelines CI/CD

Principais benefícios:

• Soluções altamente escaláveis que lidam com milhões de registros por dia
• Redução do trabalho manual, erros e custos operacionais
• Pipelines prontos para produção, bem documentados e fáceis de manter