Imagine ter um data pipeline que extrai dados de várias fontes, limpa e transforma-os e entrega dados confiáveis prontos para análise. É aí que eu entro! Com experiência prática em engenharia de dados na Airtel Digital e Grant Thornton Bharat, posso te ajudar a construir pipelines de dados eficientes, otimizar o processamento de dados e automatizar fluxos de trabalho sob medida para as necessidades do seu negócio.
Minhas habilidades:
- Forte proficiência em Python, SQL, PySpark e Spark SQL
- Experiência com Apache Spark, Databricks e Delta Lake
- Experiência prática com Apache Kafka e streaming de dados em tempo real
- Experiência em construir pipelines ETL, cargas incrementais de dados e frameworks de deduplicação de dados
- Conhecimento de Google Cloud Platform, Google Cloud Storage e BigQuery
- Experiência com ajuste de desempenho do Spark e otimização de consultas SQL
- Entendimento de data warehousing, modelagem de dados e qualidade de dados
- Fortes habilidades de resolução de problemas e análise
O que eu faço:
- Engenharia de Dados: Construir e otimizar pipelines ETL usando Python, SQL e PySpark.
- Limpeza e Transformação de Dados: Limpar, validar e transformar dados brutos em conjuntos de dados estruturados prontos para análise.
- Automação de Pipelines: Automatizar o processamento de dados repetitivo