Vou projetar e construir sua pipeline de dados ETL ELT

Algumas informações foram traduzidas automaticamente.

Índia

Eu falo Inglês

Engenheiro de Dados na Nuvem

Engenheiro de Dados em Cloud com habilidades em Unix, SQL, Python, PySpark, Postgresql e Databricks, com experiência prática no processamento de grandes conjuntos de dados e na construção de pipelines...
Sobre este Serviço

Tem dificuldades com fluxos de dados bagunçados, manuais ou pouco confiáveis? Eu construo pipelines de dados limpos e automatizados que funcionam de forma confiável, no horário, sem precisar ficar de olho o tempo todo.

Sou um Engenheiro de Dados que trabalha profissionalmente com pipelines ETL baseados em Spark para dados financeiros,

com experiência prática em Python, PySpark, Airflow, PostgreSQL e AWS.

O QUE POSSO FAZER PARA VOCÊ:

pipelines ETL/ELT (fontes API, banco de dados ou arquivo)

DAGs do Airflow para fluxos de trabalho agendados e automatizados

Camadas de validação e checagem de qualidade de dados (verificação de nulos, contagem de registros, checagem de esquema)

pipelines PySpark para processamento de grandes conjuntos de dados

Armazenamento de dados e pipelines de relatórios com PostgreSQL/MySQL

Limpeza e otimização de pipelines existentes lentos ou pouco confiáveis

Por que trabalhar comigo:

- Escrevo pipelines pensados para rodar em produção, não só uma vez

- Comunicação clara: vou fazer as perguntas certas antes de escrever uma linha de código

- Código documentado, pronto para entrega (README + comentários), não uma caixa preta

Se não tem certeza do que exatamente precisa, envie uma mensagem com sua fonte de dados e o objetivo final. Eu te digo com honestidade o que é realista e como eu abordaria.

Especialidade:

Big data

Manipulação de dados

etl

Transformação

SQL

Tecnologia:

Apache Hadoop

apache spark

Python

SQL

Databricks

Meu portfólio