Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Vou criar modelos de big data e pipelines de ETL usando pyspark e databricks
Especialista em Engenharia de Dados e Arquiteto de Soluções em Cloud
Engenheiro de dados Azure com mais de 13 anos de experiência construindo soluções de dados escaláveis usando Microsoft Fabric, Azure Data Factory (ADF), Azure Data Lake e Synapse Analytics. Também tra...
Sobre este Serviço
Processa petabytes de dados em velocidade relâmpago com modelos otimizados de PySpark e pipelines de Databricks que escalam infinitamente.
Sobrecarregado por conjuntos de dados massivos que derrubam sistemas tradicionais? Precisa de processamento em tempo real que lida com bilhões de registros sem esforço? Você encontrou seu arquiteto de big data.
O que você vai receber:
- Modelos de dados escaláveis de PySpark e transformações
- Configurações otimizadas de clusters do Databricks
- Arquitetura Delta Lake para transações ACID
- Pipelines de processamento em tempo real e em lote
- Consultas Spark SQL ajustadas para desempenho
- Estratégias de otimização de custos e configuração de monitoramento
Minha expertise em Big Data:
Com 13+ anos arquitetando soluções Spark, construí pipelines que processam mais de 500 TB diariamente para gigantes da tecnologia, alcançando melhorias de desempenho de 10x através de técnicas avançadas de otimização e ajuste de cluster.
Tecnologias que domino:
- Plataformas: Databricks, Apache Spark, Delta Lake, MLflow
- Linguagens: PySpark, Scala, Spark SQL, Python
- Otimização: Catalyst optimizer, particionamento, estratégias de cache
Outros serviços de Engenharia de Dados que eu ofereço
Perguntas frequentes
Tradução automática
Como você otimiza jobs de PySpark para máximo desempenho e eficiência de custos?
Implemento técnicas avançadas incluindo particionamento inteligente, broadcast joins, predicate pushdown, column pruning e alocação dinâmica de recursos para minimizar o tempo de processamento e os custos do cluster.
Você consegue criar pipelines que lidam com dados em lote e streaming?
Sim! Crio arquiteturas unificadas usando Databricks Structured Streaming e Delta Lake que processam de forma contínua dados históricos em lote e streams em tempo real com garantias de processamento exatamente uma vez.
Como você garante a qualidade e confiabilidade dos dados em pipelines de big data?
Implemento frameworks de validação de dados usando a enforce de schema do Delta Lake, verificações de qualidade, testes automatizados e sistemas de monitoramento que detectam e tratam anomalias nos dados.
Qual sua abordagem para lidar com evolução de schema em modelos de big data?
Projetos pipelines agnósticos de schema usando as capacidades de evolução de schema do Delta Lake, inferência automática de schema e estratégias de compatibilidade retroativa que se adaptam às mudanças nas estruturas de dados de forma contínua.
Como você otimiza clusters do Databricks para diferentes tipos de carga de trabalho?
Configuro clusters com base nas características da carga de trabalho - autoscaling para cargas variáveis, instâncias spot para otimização de custos, clusters com GPU para cargas de ML e instâncias otimizadas para memória para transformações complexas.
