Vou construir pipelines de ETL, fluxos de trabalho em pyspark e dashboards no looker usando airflow, sql

Eu trabalho com AWS (Glue, Lambda, S3, Redshift, EMR), Azure (Data Factory, Databricks, Synapse Analytics) e GCP (Cloud Composer, BigQuery, Dataflow). Vou recomendar a melhor plataforma com base na sua infraestrutura existente, habilidades da equipe e orçamento — e faço essa recomendação gratuitamente antes de você

Apache Airflow é uma ferramenta de orquestração de fluxos de trabalho que agenda, monitora e tenta novamente seus pipelines de dados automaticamente. Se você precisa de processamento de dados em uma programação regular (horária, diária, acionada por eventos), Airflow é essencial. Eu projeto DAGs do Airflow prontos para produção com lógica de retry adequada, alertas e

ETL (Extract-Transform-Load) processa e limpa os dados antes de carregá-los no seu data warehouse — melhor para sistemas legados e governança de dados rigorosa. ELT (Extract-Load-Transform) carrega os dados brutos primeiro e transforma dentro do armazém usando ferramentas como dbt — melhor para stacks modernos na nuvem como S

Sim. Eu sou especializado em migrar de SQL Server, Oracle, MySQL e arquivos planos para armazéns na nuvem como Snowflake, BigQuery e Redshift. Isso inclui design de esquema, mapeamento de tipos de dados, testes de validação, configuração de carga incremental e backfill de dados históricos — tudo documentado.

Cada entrega inclui documentação técnica completa: diagrama da arquitetura do pipeline, descrições dos DAGs, explicação da lógica de transformação, dicionário de dados, guia de configuração e runbook para sua equipe. Meu objetivo é que qualquer engenheiro de dados na sua equipe possa entender e estender os pipelines de forma independente.