Eu vou construir e otimizar pipelines de dados ETL do AWS glue
Engenheiro de Terraform e DevOps especializado em Amazon Connect da AWS
Sobre este Serviço
Precisa de um pipeline de dados AWS confiável construído, corrigido ou otimizado?
Sou um Engenheiro de Cloud e DevOps certificado pela AWS, com experiência prática em projetar pipelines de dados empresariais usando AWS Glue, PySpark, Amazon S3, Amazon Redshift, Python, Terraform e GitHub Actions.
Posso ajudar com:
Desenvolvimento e troubleshooting de jobs ETL do AWS Glue
Ingestão, particionamento e processamento de Parquet no S3
Transformações PySpark e manipulação de schema
Staging, carregamento, MERGE e deduplicação no Redshift
Conversão de timestamp, backfills e cargas incrementais
Checagens de qualidade de dados, validação e monitoramento
Configuração do Glue Catalog e crawler
Infraestrutura Terraform e workflows de CI/CD para implantação
Otimização de performance e custos do pipeline
Análise de causa raiz para falhas específicas de schema e ambiente
Minha experiência inclui construir pipelines de produção para dados JSON complexos, achatar estruturas aninhadas, aplicar lógica de registro mais recente, resolver conflitos de tipos e promover mudanças controladas através de ambientes de desenvolvimento, teste e produção.
Por favor, envie uma mensagem antes de fazer o pedido se seu pipeline tiver múltiplas fontes, grandes backfills, schemas complexos ou requisitos de implantação em produção.
Destination Platform:
Amazon Redshift
•
Amazon S3
Ferramentas e plataformas:
Outros
Meu portfólio
Perguntas frequentes
Tradução automática
Você consegue corrigir um job existente do AWS Glue?
Sim. Compartilhe o script, detalhes do erro, resultado esperado, schema de exemplo e logs relevantes. Remova dados confidenciais e credenciais antes de enviar qualquer coisa.
Você consegue carregar dados no Amazon Redshift ou Amazon S3?
Sim. Posso construir ou melhorar fluxos ETL que ingestam, transformam, validam e carregam dados no Amazon S3 ou Amazon Redshift.
Você consegue lidar com JSON aninhado, mudanças de schema e backfills?
Sim. Posso achatar JSONs aninhados, gerenciar conflitos de schema e tipo, aplicar deduplicação e projetar backfills históricos controlados.
Você consegue implantar o pipeline com Terraform e CI/CD?
Sim. O escopo Padrão ou Premium pode incluir Terraform e workflows automatizados de promoção usando GitHub Actions, dependendo do seu ambiente.
