Vou projetar e construir sua arquitetura de data lake na AWS

Algumas informações foram traduzidas automaticamente.

Índia

Eu falo Hindi, Inglês

Engenheiro de Dados Sênior

Sou um Engenheiro de Dados Sênior com mais de 3 anos de experiência construindo e liderando soluções de engenharia de dados baseadas na AWS. Especializo-me em arquiteturas de data lake usando AWS S3, ...
Sobre este Serviço

Tá tendo dificuldades com um data lake lento, bagunçado ou que nem existe na AWS? Eu ajudo empresas a projetar e construir arquiteturas de data lake escaláveis e prontas para produção usando S3, Glue, EMR e Athena, o mesmo stack que uso diariamente liderando engenharia de dados para um cliente de serviços bancários e financeiros com data lake de vários terabytes.

Se você está começando do zero ou precisa consertar uma configuração existente, posso ajudar com:

Design de arquitetura de data lake (camadas de análise na fase bronze)

Configuração do AWS Glue Catalog e acesso entre contas

Otimização de consultas Athena/Presto

Design de pipeline de dados em grande escala com S3/Parquet

Recomendações de pipeline ETL usando Spark

Já projetei pipelines lidando com mais de 100 GB de dados, com ciclos de atualização quinzenais, resolvi problemas de Glue Catalog entre contas e converti lógica legada do SQL Server em consultas compatíveis com Athena — problemas reais de produção, não trabalhos de tutorial.

Vamos conversar sobre sua configuração de dados e eu te ajudo a construir algo que escale.

Idioma:

Inglês

Hindi

Experiência técnica:

apache spark

Amazon S3

Outros

Especialidade:

Pipelines de dados

Armazenagem de dados

Setor:

Data analytics