Eu vou construir e otimizar pipelines de dados ETL do AWS glue

Algumas informações foram traduzidas automaticamente.

África do Sul

Eu falo Inglês

Engenheiro de Terraform e DevOps especializado em Amazon Connect da AWS

Sou um engenheiro de nuvem certificado pela AWS e desenvolvedor de Amazon Connect, especializado em Amazon Connect, Terraform, automação DevOps e engenharia de dados na nuvem. Ajudo empresas a constru...
Sobre este Serviço

Precisa de um pipeline de dados AWS confiável construído, corrigido ou otimizado?


Sou um Engenheiro de Cloud e DevOps certificado pela AWS, com experiência prática em projetar pipelines de dados empresariais usando AWS Glue, PySpark, Amazon S3, Amazon Redshift, Python, Terraform e GitHub Actions.


Posso ajudar com:


Desenvolvimento e troubleshooting de jobs ETL do AWS Glue

Ingestão, particionamento e processamento de Parquet no S3

Transformações PySpark e manipulação de schema

Staging, carregamento, MERGE e deduplicação no Redshift

Conversão de timestamp, backfills e cargas incrementais

Checagens de qualidade de dados, validação e monitoramento

Configuração do Glue Catalog e crawler

Infraestrutura Terraform e workflows de CI/CD para implantação

Otimização de performance e custos do pipeline

Análise de causa raiz para falhas específicas de schema e ambiente


Minha experiência inclui construir pipelines de produção para dados JSON complexos, achatar estruturas aninhadas, aplicar lógica de registro mais recente, resolver conflitos de tipos e promover mudanças controladas através de ambientes de desenvolvimento, teste e produção.


Por favor, envie uma mensagem antes de fazer o pedido se seu pipeline tiver múltiplas fontes, grandes backfills, schemas complexos ou requisitos de implantação em produção.

Destination Platform:

Amazon Redshift

•

Amazon S3

Ferramentas e plataformas:

Outros

Meu portfólio