Vou construir sua pipeline de dados ETL usando python sql airflow e AWS
Engenheiro de dados
Sobre este Serviço
Tá tendo dificuldades com dados bagunçados e dispersos que são difíceis de confiar? Eu crio pipelines ETL confiáveis que transformam dados brutos em informações limpas e prontas para consulta, do jeito que as equipes de dados de produção fazem.
Eu trabalho com Python, SQL, Apache Airflow, PySpark e AWS para mover seus dados do fonte até um armazém estruturado, com validações ao longo do caminho para que dados ruins sejam detectados cedo.
O que eu posso ajudar:
Design e desenvolvimento de pipelines ETL/ELT
Orquestração com Apache Airflow (DAGs agendados)
Ingestão de dados de APIs, CSVs e bancos de dados
Transformação de dados com Python/PySpark
Modelagem de armazém de dados (tabelas fato/dimensões, PostgreSQL)
Validação de qualidade de dados e verificações automáticas
Já construí pipelines de ponta a ponta lidando com mais de 100.000 registros de várias fontes, estruturados em armazéns limpos e prontos para análise.
Valorizo código limpo e comunicação clara, você vai saber o que está acontecendo em cada etapa, não só receber uma caixa preta no final.
Tem uma fonte de dados diferente ou precisa de algo mais? Me manda uma mensagem primeiro, fico feliz em verificar se encaixa antes de você fazer o pedido.
Destination Platform:
Amazon Redshift
•
PostgreSQL
•
mySQL
•
Amazon S3
Ferramentas e plataformas:
AWS Glue DataBrew
•
Outros
