eu vou construir pipelines de dados escaláveis usando pyspark, databricks e azure

Algumas informações foram traduzidas automaticamente.

Índia

Eu falo Hindi, Inglês

Engenheiro de Dados Sênior

Sou engenheiro de dados sênior com mais de 6 anos de experiência projetando e otimizando pipelines de dados escaláveis na Azure e na AWS. Especializo-me em PySpark, Databricks e soluções ETL/ELT basea...
Sobre este Serviço

D%C3%A9 dificuldade com consultas SQL lentas, silos de dados bagun%C3%A9ados ou altos custos na nuvem? Sou engenheiro de dados corporativo (certificado pela Microsoft Azure) especializado em PySpark, Azure Databricks, Delta Lake e SQL. Eu desenho, otimizo e construo arquiteturas de dados à prova de falhas que transformam dados brutos em pipelines prontos para analytics e IA.

O que posso fazer por você:

  • Design de pipelines ETL / ELT: pipelines escaláveis por lotes e streaming usando PySpark, Databricks e Azure Data Factory (ADF).
  • Arquitetura Medallion Lakehouse: Estruturar dados brutos em camadas Bronze, Silver e Gold Delta Lake no ADLS Gen2.
  • Otimização de Performance e Custos: corrigir jobs Spark lentos, resolver skew de dados, ajustar consultas Oracle/PostgreSQL e implementar Z-Ordering/Liquid Clustering.
  • IA & RAG ready de dados: conectar lakes de dados empresariais a bancos de vetores (pgvector) e Kubernetes (AKS) para recuperação de IA em tempo real.

Por que trabalhar comigo?

  • Código modular e pronto para produção, com diagramas arquiteturais claros.
  • Profundo conhecimento em Azure, Databricks, Python e bancos relacionais.
  • Comunicação clara e walkthrough pós-entrega.

Me mande uma mensagem antes de fazer o pedido para alinharmos sua stack de dados e o escopo!


Idioma:

Inglês

•

Hindi

Experiência técnica:

Databricks

•

Snowflake

•

Google BigQuery

Especialidade:

Pipelines de dados

•

Desenvolvimento de ETL

Setor:

Vídeo e áudio

•

Data analytics

•

Serviços financeiros