Eu serei seu engenheiro de dados em databricks, azure, gcp

Algumas informações foram traduzidas automaticamente.

Hamza Amin

Paquistão

Eu falo Urdu, Inglês

14 pedidos finalizados

Um engenheiro de dados para resolver problemas complexos

Engenheiro de Dados Oi! Como um engenheiro de dados habilidoso, tenho muita experiência em construir e melhorar pipelines de dados de ponta a ponta. Com uma base sólida em ETL e data warehousing, tra...

Saiba mais

Sobre este Serviço

Pipelines de dados confiáveis, escaláveis e nativos da nuvem | Especialista em Azure e Databricks

Está tendo dificuldades para mover, transformar ou escalar seus dados de forma confiável? Eu crio pipelines de dados de ponta a ponta, de nível de produção, que automatizam a ingestão, transformação, validação e implantação totalmente nativos da nuvem e orientados por CI/CD.

Tenho expertise prática em PySpark, Spark SQL, Python, SQL, Databricks, Azure e GCP para transformar dados brutos e desorganizados em conjuntos de dados limpos, confiáveis e prontos para análise.

O que eu ofereço:

Design de pipelines ETL & ELT (batch & streaming)
Transformação de dados baseada em PySpark & Spark SQL em escala
Desenvolvimento em Databricks com Databricks Asset Bundles (DAB) para implantações repetíveis e controladas por versão
Configuração de pipeline CI/CD usando Azure DevOps (build, release, testes automatizados e implantação)
Integração segura usando Service Principals para autenticação entre ambientes
Implantação nativa na nuvem: Azure Data Factory, Azure Data Lake, Azure SQL, Databricks, GCP Dataflow, BigQuery
Integrações com API, banco de dados e armazenamento na nuvem
Arquitetura de streaming em tempo real (Kafka / Event Hubs / Pub-Sub)
Práticas completas de DevOps: controle de versão, promoção de ambientes

Saiba mais