Vou construir pipeline de dados de produção full stack open source com automação cicd

Você está procurando suporte flexível em engenharia de dados, seja para uma solução rápida ou para construir um pipeline completo? Ofereço três níveis de envolvimento:

Suporte por hora: resolução rápida de problemas, tarefas pequenas de Spark/ETL ou consultoria

Envolvimento de meio período: foco no desenvolvimento de pipelines ou modelos dbt por 20 horas

Construção de projeto completo: configuração completa de lakehouse de ponta a ponta (mais de 50 horas)

Sou um Engenheiro de Dados com experiência prática na construção de um lakehouse autogerenciado completo em Kubernetes, processando cerca de 5 milhões de linhas usando Apache Spark, Apache Iceberg, Trino, dbt-Trino e Google BigQuery.

O que entrego:

ETL pipelines com Apache Spark para ingestão, limpeza e transformação de dados

Verificações de qualidade de dados usando PyDeequ

Modelos de camada Gold com dbt-Trino: Star Schema, Data Vault, OBT, Marts

Orquestração com Dagster e automação de CI/CD

Documentação completa (níveis Standard e Premium)

Me envie uma mensagem antes de fazer seu pedido para que possamos discutir suas necessidades específicas.