Vou automatizar o pipeline ETL usando data factory e databricks

Algumas informações foram traduzidas automaticamente.

Kapil J

Índia

Eu falo Hindi, Inglês

91 pedidos finalizados

Desenvolvedor SQL

Profissional experiente com mais de 5 anos de experiência em análise de dados, SQL Server, otimização de consultas, programação de bancos de dados, Python e PowerShell Scripting. Além disso, tenho amp...

Saiba mais

Sobre este Serviço

Olá,

Espero que esteja bem.

Tenho mais de 4 anos de experiência como Engenheiro de Dados em diversos setores, com experiência prática no desenvolvimento de pipelines ETL altamente complexos.

Meus serviços incluem:

Construção de solução completa no Azure Data Factory com Cópia de dados / Fluxo de Dados de Mapeamento.
Otimização de consultas complexas
Carga de dados, Transformação e Orquestração (processo ETL)
Migração de dados de sistemas On-Premises ou APIs de aplicativos para ADLS, Blob storage
Desenvolvimento de transformações complexas usando DataBricks em Python/PySpark/SparkSQL
Movimentar os dados processados para Delta Lake, Data Warehouse, Azure SQL Database (SSMS), MSSQL
Uso do Azure KeyVault
Criar Procedures/ Funções / Views / Queries SQL
Suporte a múltiplas fontes e destinos como FTP, DB, Datawarehouse, DataLake
Notificações baseadas em eventos de falha ou sucesso do pipeline usando Azure Logic Apps
Desenvolver e manter arquitetura de Delta live table no databricks
Criar dashboard no Databricks
Aplicar segurança e melhores práticas no código e nos ambientes
Agendamento de pipeline