Vou desenvolver o pipeline etl usando o azure data factory e databricks

AVISO: Por favor, entre em contato comigo antes de fazer qualquer pedido usando o botão CONTACTE-ME no canto superior direito para discutir os requisitos. O preço mencionado no gig é uma tarifa por hora.

Engenheiro de Dados Azure profissional com mais de 3 anos de experiência e prática no desenvolvimento de pipelines ETL altamente complexos.

• Experiente na implementação de fluxos de trabalho escaláveis, otimizados de ponta a ponta, no Azure Data Factory / Databricks para extrair, processar e armazenar dados de diversas fontes, o que resultou em uma redução média de 40% no tempo de processamento de dados para meus clientes.
• Experiente na migração de dados de sistemas legados (On-premise) e APIs para Azure Data Lake, realizando transformações complexas nos dados usando DataBricks (Python e PySpark), movendo os dados processados para SQL Server / PostgreSQL / Data ou Delta Lake, e escrevendo Procedures / Funções SQL armazenadas que podem transformar os dados e realizar alguns cálculos com base na lógica de negócios.
• Também sou habilidoso no desenvolvimento e manutenção de arquiteturas DeltaLake usando Databricks e aproveitando DataLakes para armazenar os dados subjacentes e garantir padrões de segurança.
• Agendamento de cargas de trabalho usando gatilhos do Azure Data Factory ou fluxos de trabalho do Databricks.