Vou construir e automatizar pipelines de azure ETL usando azure data factory e databricks

Engenheiro de Dados Azure profissional com mais de 3 anos de experiência e prática no desenvolvimento de pipelines ETL altamente complexos.

• Experiente na implementação de fluxos de trabalho escaláveis, otimizados de ponta a ponta, no Azure Data Factory / Databricks para extrair, processar e armazenar dados de fontes diversas, o que resultou em uma redução média de 40% no tempo de processamento de dados para meus clientes.
• Experiente na migração de dados de sistemas legados (On-premise) e APIs para Azure Data Lake, realizando transformações complexas nos dados usando DataBricks (Python e PySpark), movendo os dados processados para SQL Server / PostgreSQL / Data ou Delta Lake e escrevendo Procedures / Funções SQL armazenadas que podem transformar os dados e fazer cálculos com base em alguma lógica de negócio.
• Também tenho habilidades em desenvolver e manter arquiteturas DeltaLake usando Databricks e aproveitando DataLakes para armazenar os dados subjacentes e garantir padrões de segurança.
• Agendamento de cargas de trabalho usando gatilhos do Azure Data Factory ou fluxos de trabalho do Databricks.

Principais competências: SQL, Python, PySpark, Databricks, Azure, APIs, Transformação de Dados, Análise.

Portfólio: https://arlsnahafeez967.github.io/Arslanhafeez2.github.io/