Vou construir pipelines de dados escaláveis, fluxos de ETL e soluções de dados na nuvem
Sobre este Serviço
Você está tendo dificuldades para gerenciar dados brutos desorganizados ou otimizar seus fluxos de dados? Estou aqui para ajudar!
Como um Engenheiro de Dados experiente, especializo-me em projetar e desenvolver pipelines de dados de ponta a ponta que são escaláveis, prontos para a nuvem e otimizados para desempenho. Tenho um entendimento profundo de transformar conjuntos de dados complexos em insights acionáveis para o negócio.
O que eu ofereço:
Criação de pipelines ETL/ELT (Batch & Streaming)
Implantação na nuvem: AWS Glue, Lambda, Azure Data Factory, Databricks, GCP Dataflow
Processamento em tempo real usando Kafka, Pub/Sub ou Event Hubs
Integração de API e suporte a armazenamento na nuvem
Validação, limpeza e garantia de qualidade dos dados
Automação de ingestão, transformação e carregamento de dados
Integração com PostgreSQL, NoSQL, Snowflake, Databricks
Pilha Tecnológica:
Python, SQL, Spark, PySpark, Apache Kafka, AWS, Azure, GCP, Databricks, PostgreSQL, NoSQL, Hadoop, Snowflake e mais.
Ferramentas e plataformas:
Fábrica de dados do Azure
•
Outros
