Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Vou desenvolver pipelines de ETL de Azure Databricks e jobs de Pyspark
Engenheiro de Dados Azure para Pipelines de ETL no Databricks
Sou um estudante motivado de Engenharia de Software com experiência prática em pipelines de engenharia de dados e desenvolvimento full-stack. Tenho proficiência em construir processos de ETL escalávei...
Sobre este Serviço
Bem-vindo ao meu serviço de consultoria em Engenharia de Dados na Azure!
Quer transformar seus dados brutos em insights limpos e acionáveis? Sou especialista em projetar e construir pipelines de dados robustos e escaláveis usando o moderno Azure Data Stack, com foco principal em Azure Databricks e PySpark.
Seja para uma rota arquitetônica, um script otimizado simples ou um pipeline ETL/ELT completo do zero, estou aqui para ajudar seus dados a se moverem de forma fluida e segura.
O que ofereço neste serviço:
- Configuração de Data Lake: Organizando seu armazenamento usando as melhores práticas, como a arquitetura Bronze/Silver/Gold (Medallion).
- Desenvolvimento de pipeline ETL: Escrevendo código limpo e eficiente em PySpark ou SQL para extrair, transformar e carregar seus dados.
- Orquestração: Projetando o fluxo automatizado dos seus dados usando ferramentas como Azure Data Factory.
- Otimização de Performance: Debugando e acelerando notebooks Spark lentos.
- Diagramas de arquitetura & auditorias: Fornecendo documentação visual clara e recomendações profissionais para sua configuração atual.
Perguntas frequentes
Tradução automática
Preciso fornecer meu próprio ambiente Azure?
Sim, você precisará me fornecer acesso seguro à sua assinatura Azure (como uma conta Guest com permissões específicas de grupo de recursos) para que eu possa construir, testar e implantar os pipelines diretamente no seu espaço de trabalho.
O que é a arquitetura Medallion que você mencionou?
É um padrão de design de dados altamente eficiente usado no Databricks. Organiza logicamente os dados em um lakehouse em três camadas distintas: Bronze (dados brutos e ingeridos), Silver (dados limpos e filtrados) e Gold (agregados de nível de negócio prontos para análise e relatórios).
Você pode corrigir um bug no meu código PySpark existente?
Com certeza! O pacote Básico é perfeito para isso. Posso auditar seu notebook atual, identificar o gargalo ou erro e fornecer o código otimizado e corrigido.
Precisamos fazer uma videochamada para os minutos de consultoria?
De jeito nenhum! Embora o Fiverr forneça um link do Zoom, podemos manter as câmeras desligadas para uma chamada apenas de áudio, ou usar esse tempo dedicado para conversar bastante por texto enquanto reviso sua arquitetura e objetivos de dados.
