Vou construir pipeline de dados end to end no azure usando adf e databricks

Algumas informações foram traduzidas automaticamente.

Paquistão

Eu falo Inglês

Engenheiro de Dados na Nuvem

Sou um Engenheiro de Dados na nuvem especializado em criar pipelines escaláveis de ETL/ELT usando Azure Data Factory, Databricks, Delta Lake e Azure Synapse Analytics. Transformo dados brutos em conju...

Saiba mais

Sobre este Serviço

Vou criar uma solução de engenharia de dados de ponta a ponta para ingerir, transformar, processar e preparar seus dados para análises.

Sou especializado em Azure, Azure Data Factory, Azure Databricks, PySpark, Python, SQL, ADLS Gen2 e Delta Lake.

O que posso construir:

Pipeline de dados ETL/ELT
Ingestão de dados via API, CSV, Excel e SQL
Orquestração com Azure Data Factory
Soluções de data lake com ADLS Gen2
Transformações com Databricks e PySpark
Delta Lake e arquitetura Medallion
Processamento de dados em batch e incremental
SCD Tipo 1 / Tipo 2
Modelagem de dados e conjuntos de dados prontos para análise
Qualidade e validação de dados
Camadas de dados prontas para Power BI

Arquitetura típica:

Fonte ADF ADLS Databricks/PySpark Delta Lake Camada Gold Analytics

Se você precisa de uma nova pipeline, otimizar uma existente ou montar uma plataforma completa de dados, posso criar a solução de acordo com suas necessidades.

Tem um projeto em mente? Entre em contato antes de fazer o pedido para que eu possa entender suas necessidades e recomendar a solução certa.

Saiba mais