Vou projetar e construir sua arquitetura de data lake na AWS
Engenheiro de Dados Sênior
Sobre este Serviço
Tá tendo dificuldades com um data lake lento, bagunçado ou que nem existe na AWS? Eu ajudo empresas a projetar e construir arquiteturas de data lake escaláveis e prontas para produção usando S3, Glue, EMR e Athena, o mesmo stack que uso diariamente liderando engenharia de dados para um cliente de serviços bancários e financeiros com data lake de vários terabytes.
Se você está começando do zero ou precisa consertar uma configuração existente, posso ajudar com:
Design de arquitetura de data lake (camadas de análise na fase bronze)
Configuração do AWS Glue Catalog e acesso entre contas
Otimização de consultas Athena/Presto
Design de pipeline de dados em grande escala com S3/Parquet
Recomendações de pipeline ETL usando Spark
Já projetei pipelines lidando com mais de 100 GB de dados, com ciclos de atualização quinzenais, resolvi problemas de Glue Catalog entre contas e converti lógica legada do SQL Server em consultas compatíveis com Athena — problemas reais de produção, não trabalhos de tutorial.
Vamos conversar sobre sua configuração de dados e eu te ajudo a construir algo que escale.
Idioma:
Inglês
•
Hindi
Experiência técnica:
apache spark
•
Amazon S3
•
Outros
Setor:
Data analytics

