Vou construir azure data factory e databricks etl pipelines

Algumas informações foram traduzidas automaticamente.

Índia

Eu falo Inglês

Engenheiro de Dados Azure Databricks e Microsoft Fabric

Technical Lead Data Engineer com mais de 4 anos montando plataformas de dados em produção na Azure, Databricks e Microsoft Fabric. Construo lakehouses (bronze/silver/gold) com PySpark, Delta Lake, Azu...
Sobre este Serviço

Precisa mover, limpar e deixar os dados prontos para relatórios? Eu monto pipelines ETL confiáveis no Azure Data Factory e no Databricks (PySpark, Delta Lake).


Sou Technical Lead Data Engineer com mais de 4 anos de experiência em produção. Trabalho recente: jobs Spark processando mais de 5TB diários (30% mais rápido), mais de 15 pipelines ADF movendo 1,2M+ registros por dia, e uma estrutura orientada a metadados que reduziu em 70% o onboarding de novas fontes.


O que posso montar:

  • Ingestão a partir de SQL Server, APIs, arquivos (CSV, Excel, JSON), SharePoint ou storage na nuvem
  • Camadas lakehouse bronze/silver/gold (medallion) com tabelas Delta
  • Cargas incrementais, SCD Type 2, logging e tratamento de retry
  • Checagens de qualidade de dados e alertas de falha
  • Cargas para Databricks, Snowflake, Azure SQL, Synapse ou Microsoft Fabric

O que você recebe: código de pipeline funcionando no seu ambiente, um guia rápido de execução e uma chamada de walkthrough se precisar.


Por favor, me mande uma mensagem antes de pedir com suas fontes, destino e tamanho dos dados, para eu confirmar o pacote certo.

Destination Platform:

Snowflake

•

Azure Synapse Analytics

Ferramentas e plataformas:

Microsoft SSIS

Outros serviços de Engenharia de Dados que eu ofereço