Parece que este serviço está em espera

Vou testar a unidade do código pyspark

Algumas informações foram traduzidas automaticamente.

Eslováquia

Eu falo Eslovaco, Tcheco, Inglês

5 pedidos finalizados

Solutions Architect da Databricks, Lead Data Engineer, Engenheiro de GenAI

Sou um solutions architect, lead data engineer e engenheiro de GenAI. Sou um Solutions Architect Champion certificado pela Databricks. Este é um programa exclusivo "somente por convite". Os Champio...
Sobre este Serviço

Consultoria de 1 hora sobre teste unitário de código PySpark


Testar unidades de código PySpark pode ser realmente complicado e trabalhoso. Especialmente quando você precisa testar o código que interage com armazenamento de dados/arquivos, DeltaTable, SqlContext, Utilitários do Databricks (dbutils) etc. Nesses cenários, normalmente você teria que preparar os dados antes de executar um teste unitário, limpar tudo depois e repetir esse processo para cada teste que tenha dependências externas ou operações de entrada/saída na execução.


Não seria mais fácil, rápido e barato executar todos os testes apenas na memória? Podemos discutir como abordar o teste unitário de um código assim, posso te fornecer exemplos e links para a documentação das ferramentas que usaremos.


Você pode aproveitar meu conhecimento para alcançar seus objetivos. Posso te ajudar a melhorar suas habilidades para ser mais competente e produtivo.

Especialidade:

Big data

Manipulação de dados

Validação de dados

Tecnologia:

apache spark

Python

Scala

Meu portfólio