Vou construir sistemas locais de rag de ponta a ponta e chatbots

Um chatbot RAG polonês, construído de ponta a ponta, desde a coleta de artigos até uma resposta final com três links para as fontes utilizadas.

A base de conhecimento é pequena de propósito: 141 artigos de ajuda. Com esse tamanho, posso medir cada mudança em um conjunto de testes, ao invés de adivinhar.

A busca é híbrida. A correspondência de palavras-chave lida com perguntas onde uma palavra exata decide a resposta, a busca por vetor entende o significado, as duas classificações são mescladas, e um cross encoder escolhe as três melhores entre vinte candidatos. A precisão é 58 de 60 no conjunto de testes.

Perguntas reais chegam com erros de digitação, então um corretor ortográfico fica na frente do pipeline, protegido por uma verificação de frequência de palavras para não bagunçar entradas corretas.

O sistema também sabe quando recusar. Perguntas fora do tópico são descartadas rapidamente antes da geração, um segundo modelo decide os casos borderline, e uma verificação de cobertura depois identifica respostas não fundamentadas no texto recuperado.

A recuperação roda localmente: embeddings, índices e o reranker ficam no servidor. A demonstração pública chama um modelo hospedado para geração porque o VPS não tem GPU, mas é o mesmo código com um arquivo de configuração diferente, e roda totalmente offline no Ollama.