Vou depurar seu chatbot rag e descobrir por que ele dá respostas erradas

Seu chatbot RAG funcionou na demonstração. Na produção, ele hallucina preços, inventa políticas ou responde com confiança usando o documento errado. Todo mundo te diz para adicionar reranking ou reescrever o prompt, que é o passo 4, mas raramente é onde o bug realmente está.

Eu depuro sistemas RAG do jeito que você depuraria qualquer outro sistema de produção: de cima para baixo, começando pelo que foi realmente recuperado, não pelo que o modelo disse. A maioria das respostas erradas vem do fato de que o trecho certo nunca chegou ao modelo, não porque o LLM seja "burro". Eu separo os dois antes de mexer, porque a solução para cada um é completamente diferente e adivinhar só gasta seu tempo e dinheiro.

Trabalho com pipelines de LLM de produção de forma profissional, validando múltiplos modelos, saídas com esquema, loops de regeneração com limite de tentativas, então estou acostumado a encontrar o modo de falha real ao invés de jogar consertos ao vento.

O que eu verifico: precisão da recuperação, limites de chunking, montagem do contexto, truncamento do prompt e se o modelo está interpretando o contexto correto errado ou nunca viu ele.

Me envie de 5 a 10 das suas piores respostas erradas antes de fazer o pedido, e te direi honestamente se é uma solução rápida ou uma reconstrução mais profunda.