vou construir pipelines Databricks com pyspark

Algumas informações foram traduzidas automaticamente.

Índia

Eu falo Inglês, Hindi

Engenheiro de dados

Engenheiro de dados com mais de 5 anos de experiência em construir pipelines de dados confiáveis e bem testados no Azure Databricks. Trabalho com Python, SQL, PySpark, Delta Lake e Unity Catalog para ...
Sobre este Serviço

Procurando um engenheiro de dados Databricks experiente para construir um pipeline de dados confiável e escalável? Sou Certified Databricks Data Engineer com mais de 5 anos de experiência em criar pipelines ETL em grande escala usando PySpark, Spark SQL e Delta Lake para clientes globais nos setores financeiro e de saúde.


O que eu entrego:

  • Pipeline de dados ETL/ELT em lote com PySpark e Spark SQL
  • Arquitetura Medallion (Bronze Silver Gold) no Delta Lake
  • Ingestão de dados a partir de CSV, JSON, Parquet e bancos de dados
  • MERGE/upsert, SCD e handling de evolução de schema
  • Workflows Databricks agendados (jobs)
  • Checagens de qualidade de dados e validação
  • Código Spark com performance otimizada
  • Diagrama de arquitetura e notas de design do pipeline
  • Código limpo e bem documentado


Por que trabalhar comigo:

  • Código de qualidade de produção baseado em dados reais
  • Experiência processando bilhões de registros
  • Comunicação clara e entrega no prazo


Tenho mais de 3 fontes ou requisitos personalizados e eu envio uma oferta sob medida.

Idioma:

Inglês

•

Hindi

Experiência técnica:

apache spark

•

Databricks

•

hadoop

Especialidade:

Pipelines de dados

•

Desenvolvimento de ETL

Setor:

Data analytics

•

Serviços financeiros

•

Alimentos e bebidas