Vou construir sua pipeline de dados ETL usando python sql airflow e AWS

Algumas informações foram traduzidas automaticamente.

Índia

Eu falo Bengali, Inglês, Hindi

Engenheiro de dados

Sou Engenheiro de Dados com experiência prática na construção de pipelines ETL, sistemas de validação de dados e fluxos de trabalho na nuvem usando Python, SQL, Spark e AWS. Tenho facilidade em assumi...
Sobre este Serviço

Tá tendo dificuldades com dados bagunçados e dispersos que são difíceis de confiar? Eu crio pipelines ETL confiáveis que transformam dados brutos em informações limpas e prontas para consulta, do jeito que as equipes de dados de produção fazem.

Eu trabalho com Python, SQL, Apache Airflow, PySpark e AWS para mover seus dados do fonte até um armazém estruturado, com validações ao longo do caminho para que dados ruins sejam detectados cedo.

O que eu posso ajudar:

Design e desenvolvimento de pipelines ETL/ELT

Orquestração com Apache Airflow (DAGs agendados)

Ingestão de dados de APIs, CSVs e bancos de dados

Transformação de dados com Python/PySpark

Modelagem de armazém de dados (tabelas fato/dimensões, PostgreSQL)

Validação de qualidade de dados e verificações automáticas

Já construí pipelines de ponta a ponta lidando com mais de 100.000 registros de várias fontes, estruturados em armazéns limpos e prontos para análise.

Valorizo código limpo e comunicação clara, você vai saber o que está acontecendo em cada etapa, não só receber uma caixa preta no final.

Tem uma fonte de dados diferente ou precisa de algo mais? Me manda uma mensagem primeiro, fico feliz em verificar se encaixa antes de você fazer o pedido.

Destination Platform:

Amazon Redshift

PostgreSQL

mySQL

Amazon S3

Ferramentas e plataformas:

AWS Glue DataBrew

Outros

Meu portfólio