Vou projetar e construir pipelines de dados usando azure data factory e databricks IA ML

Vou projetar, construir e otimizar pipelines de dados escaláveis usando Microsoft Azure, Azure Data Factory e Azure Databricks para transformar seus dados brutos em insights de negócios poderosos.

Com forte expertise em engenharia de dados na nuvem e análise de dados.

O que farei por você

• Construir pipelines ETL/ELT de ponta a ponta no Azure
• Criar fluxos de trabalho dinâmicos e automatizados no Azure Data Factory
• Desenvolver soluções de processamento de dados escaláveis usando PySpark & Spark SQL
• Integrar APIs, bancos de dados SQL, Data Lake, Blob Storage e fontes de terceiros
• Otimizar o desempenho do pipeline e reduzir custos na nuvem
• Implementar limpeza, validação e transformação de dados
• Implantar pipelines de produção seguros e confiáveis

Recursos de IA & Machine Learning

• Construir modelos de ML usando Azure Databricks (classificação, regressão, previsão)
• Pré-processamento de dados e engenharia de recursos para ML
• Treinamento e avaliação de modelos usando Python & Spark ML
• Implantar pipelines de machine learning no Azure
• Fluxos de trabalho de previsão em lote e em tempo real
• Análises e insights impulsionados por IA

Ferramentas & Tecnologias

• Azure Data Factory (ADF)
• Azure Databricks
• PySpark / Spark SQL
• Azure Data Lake Storage
• Azure SQL Database
• Python
• Machine Learning (ML)
• Modelagem e transformação de dados