Quer automatizar seus fluxos de trabalho de dados? Eu sou especialista em construir pipelines ETL escaláveis e econômicas usando Python e AWS, transformando seus dados brutos em insights acionáveis.
O que posso fazer por você:
- Jobs AWS Glue: Desenvolver scripts ETL robustos usando PySpark para processamento de dados em grande escala ou Python Shell para integrações leves.
- Pipelines sem servidor: Criar fluxos de trabalho orientados a eventos com AWS Lambda e gatilhos S3.
- Orquestração de dados: Configurar e gerenciar fluxos de trabalho com AWS Step Functions ou Glue Workflows.
- Carregamento de dados: Carregar dados de forma eficiente em Amazon Redshift, S3 (Data Lakes) ou RDS.
- Integração com API: Extrair dados de APIs de terceiros usando Python e armazená-los com segurança na AWS.
- Otimização: Ajustar jobs existentes do Glue para reduzir custos de DPU (Data Processing Unit).