Eu vou construir pipelines de dados prontos para produção com apache spark e kafka

Eu construo pipelines de dados que funcionam em produção, não apenas em um caminho feliz.

Doze anos em bancos e serviços financeiros significam que passei a maior parte do tempo nas partes pouco glamourosas: registros duplicados, dados que chegam atrasados, mudanças de esquema que quebram tudo a jusante e jobs que precisam ser reexecutados com segurança. Essa é a diferença entre um pipeline que funciona em uma demonstração e um que você pode deixar rodando.

Com o que eu trabalho: Apache Spark, Kafka, Avro, Apache Iceberg, PostgreSQL, Java, Python, no GCP e Kubernetes.

Trabalhos típicos que faço:

• ETL em batch ou streaming de sistemas fonte para um warehouse ou lake
• Transformar scripts frágeis em jobs Spark adequados
• Consumidores e produtores Kafka com tratamento de erro e retries sensato
• Consertar pipelines que estão lentos, instáveis ou que silenciosamente perdem dados

Eu explico o que estou fazendo em português claro e vou te dizer honestamente se seu problema precisa de uma solução mais simples do que a que você pediu.

Me envie uma mensagem antes de fazer o pedido com suas fontes de dados e volume aproximado, e eu te digo qual pacote se encaixa ou se eu sou a pessoa errada para o trabalho.