Eu vou construir um data lake na AWS e pipeline ETL usando pyspark

Como Engenheiro de Dados, eu projeto arquiteturas robustas nativas da nuvem e pipelines ETL escaláveis. Seja processando logs de alto volume ou construindo Medallion Data Lakes, entrego soluções limpas e otimizadas.

️ O que eu ofereço:

• Pipeline ETL de ponta a ponta: Extração, transformação e carregamento automatizados de dados usando Python e PySpark.
• Data Lakes na nuvem: Arquitetando Medallion Data Lakes sem servidor (Bronze, Silver, Gold) na AWS (S3, Glue, Athena).
• Arquitetura de banco de dados: Projetando bancos relacionais (3NF) e otimizando consultas SQL complexas (CTEs, funções de janela) no PostgreSQL.
• Otimização de desempenho: Reduzindo tempos de processamento de dados e custos de armazenamento usando formatos como Apache Parquet.

Pilha tecnológica: AWS (S3, Glue, Athena) | PySpark | Python | PostgreSQL | SQL avançado | Git/GitHub

Por que me escolher? Escrevo código pronto para produção, garanto designs escaláveis e sigo rigorosamente as melhores práticas de engenharia de dados.

Por favor, envie uma mensagem antes de fazer o pedido para discutir seu projeto exato!