Vou auditar e otimizar seus pipelines de dados do azure data factory e databricks

Seus pipelines estão rodando. Mas se eles estão rodando bem, aí é outra história. Tarefas demoram mais do que deveriam, custos aumentam, reruns criam duplicatas, e ninguém consegue saber quais falhas realmente importam.

Eu faço auditoria em pipelines do Azure Data Factory e Databricks, e te digo o que está quebrado, quanto está te custando, e o que deve ser consertado primeiro.

O que eu reviso:

Design do pipeline: orquestração, dependências, retry e tratamento de falhas

Cargas incrementais: watermarking, idempotência, registros que chegam atrasados

Performance do Spark: particionamento, shuffles, skew, tamanho do cluster

Delta tables: tamanho dos arquivos, OPTIMIZE/VACUUM, evolução do schema

Custo: configuração do cluster, gasto com DBU, tempo ocioso

Qualidade dos dados: validação, reconciliação, logging

Você recebe um relatório escrito com as descobertas, onde cada problema é classificado por impacto e esforço, com passos específicos de remediação e recomendações a nível de código. Nada de lista genérica. Uma leitura real do seu ambiente.

Engenheiro de Dados Sênior, com mais de 7 anos construindo plataformas de dados Azure para clientes corporativos. Microsoft Certified: Fabric Analytics Engineer Associate (DP-600).

Também trabalho com Synapse e Microsoft Fabric. Me envie sua stack e quantidade de pipelines que eu te digo qual pacote é o ideal.