Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Esclarecerei desenvolver e consertar pipelines etl do pyspark e transformações de dados
Engenheiro de Software e Dados Sênior
Sou engenheiro sênior de Software e Dados com aproximadamente 19 anos de experiência profissional em desenvolvimento de software corporativo e integração de dados.
Eu me especializo em Java, Spring B...
Sobre este Serviço
Precisa de ajuda com um trabalho de PySpark que falha, retorna resultados inesperados ou precisa de uma transformação ETL com escopo definido? Sou engenheiro de computação com experiência profissional em software e engenharia de dados. Construí transformações PySpark e fluxos batch de ETL com Azure Databricks e Azure Synapse Analytics, incluindo um fluxo no estilo medallion e solução de problemas em um pipeline que processa cerca de 1,7 milhão de registros. Posso corrigir um bug específico, implementar uma transformação limitada ou um fluxo batch de ETL, ler e gravar os formatos de dados acordados, adicionar checagens direcionadas e explicar o código. Antes de pedir, compartilhe as versões do Spark/PySpark, os esquemas, uma amostra pequena e segura, o output esperado e o contexto de runtime. Irei confirmar o escopo e as hipóteses primeiro. Nunca compartilhe senhas, tokens ou segredos de produção. Pacotes não incluem implantação na nuvem, configuração de infraestrutura, streaming, volumes ilimitados e ganhos de performance garantidos. A otimização abrange somente a revisão e mudanças no código acordados; os resultados dependem dos dados e do runtime.
Ferramentas e plataformas:
Outros
Perguntas frequentes
Tradução automática
O que você precisa de mim para começar?
Por favor, compartilhe seu objetivo, versões, esquemas, exemplos de entrada segura e saída esperada, ambiente de runtime e o código existente ou detalhes do erro. Nunca envie senhas, tokens ou credenciais de produção. Use dados sintéticos, anonimizados ou compartilháveis com segurança.
Quais versões do Spark e PySpark você suporta?
Posso trabalhar com uma versão especificada desde que as APIs e o ambiente exigido estejam disponíveis. Por favor, compartilhe as versões exatas do Spark, PySpark e Python, além de restrições de biblioteca, para eu confirmar compatibilidade e escopo antes de começar o trabalho.
Com quais formatos de dados você pode trabalhar?
Formatos comuns incluem CSV, JSON e Parquet. Tabelas Delta são possíveis em uma configuração compatível de Spark ou Databricks. Compartilhe seu schema e um pequeno sample seguro primeiro para eu confirmar o formato e o escopo.
Você pode depurar ou consertar um pipeline que eu já tenho?
Sim. Compartilhe o código relevante, detalhes do erro, esquemas e um caso mínimo reproduzível usando dados seguros. Primeiro confirmo se o problema cabe no pacote escolhido; investigações mais amplas ou múltiplos jobs exigem escopo acordado separadamente.
Você inclui testes ou documentação?
O básico inclui verificação focada. Padrão inclui verificações de dados acordadas, e Premium também inclui breve documentação. Conjuntos de teste unitários ou de integração não estão incluídos a menos que acordado especificamente e tecnicamente suportado pelo projeto fornecido.
Você pode trabalhar localmente ou em ambiente na nuvem?
Posso desenvolver e verificar o código em um runtime local compatível ou fornecido pelo cliente e revisar código específico de nuvem quando os detalhes necessários estiverem disponíveis. Implementação e configuração de infraestrutura em nuvem ficam de fora. Por favor, não compartilhe credenciais de produção; use etapas executadas pelo cliente quando necessário.
Você pode garantir melhor desempenho ou qualquer volume de dados?
Não. Os resultados dependem da forma dos dados, do runtime, das configurações do cluster e dos dados de teste disponíveis. Posso revisar um caminho de código definido e implementar mudanças acordadas, mas não posso garantir aceleração, processar volumes ilimitados ou ajustar infraestrutura sem acesso e escopo separado acordado.
Como devo compartilhar os dados de forma segura?
Sempre que possível, use amostras sintéticas, anonimizadas ou compartilháveis de forma segura. Compartilhe apenas o material que você tem permissão para fornecer e nunca envie senhas, tokens ou credenciais de produção. Podemos definir o mínimo de dados necessário antes de começar.
O que conta como uma revisão?
Uma revisão é uma alteração no trabalho já entregue dentro dos inputs, output e comportamento acordados. Novos requisitos, fontes ou transformações adicionais, outra job ou depuração mais ampla ficam fora do pacote e podem exigir uma oferta personalizada.
