Vou construir pipelines de ETL no databricks usando pyspark, python e sql

Vou projetar e construir soluções de engenharia de dados escaláveis e de alto desempenho usando Databricks e Apache Spark. Sou especialista em pipelines de ETL/ELT baseados em PySpark, transformação de dados e otimização para ajudar empresas a processar grandes volumes de dados de forma eficiente.

Meus serviços incluem criar notebooks do Databricks, ingerir dados de múltiplas fontes (bancos de dados, APIs, armazenamento na nuvem), transformar dados usando Spark SQL e PySpark, e entregar conjuntos de dados limpos e prontos para análise. Também implemento checagens de qualidade de dados, testes unitários e ajuste de performance para garantir pipelines confiáveis e prontos para produção.

Trabalho principalmente com Databricks em plataformas de nuvem (Azure/AWS) e sigo as melhores práticas em modelagem de dados, design de pipelines e documentação. Seja uma tarefa pequena no Databricks, um pipeline completo de ETL ou uma solução de engenharia de dados de ponta a ponta, ofereço comunicação clara, entrega pontual e código de fácil manutenção.

Por favor, envie uma mensagem antes de fazer seu pedido para que possamos discutir suas necessidades e escolher o pacote ideal para seu caso de uso.