Vou testar seu chatbot de IA para alucinações e entregar um relatório

Você instalou um chatbot. Como saber quando ele inventa um preço, uma política ou um prazo antes que um cliente reclame?

A maioria dos assistentes de IA são criados, lançados e nunca medidos. Eu os avalio.

O que faço:

1. Você me fornece de 30 a 50 perguntas reais que seu bot já recebeu (ou eu as elaboro a partir dos seus documentos).
2. 2. Juntos definimos a resposta correta para cada uma (verdadeiro padrão).
3. 3. Eu executo essas perguntas contra seu bot e avalio cada resposta.
4. 4. Você recebe um relatório: taxa de precisão, matriz de confusão por tipo de pergunta, catálogo de modos de falha com as conversas exatas, as respostas erradas mais caras (dinheiro/política) e uma solução concreta para cada modo de falha.

Funciona com: GPTs personalizados, Assistentes da OpenAI, Claude, bots RAG (LangChain, Flowise, Botpress, Voiceflow), bots do WhatsApp, widgets de sites. Preciso apenas de uma forma de fazer perguntas ao bot — sem necessidade de acesso ao código.

Contexto: criei e publiquei uma ferramenta de avaliação para meu próprio assistente de conformidade de varejo (104 perguntas de teste, matriz de confusão por regra, relatório de modos de falha com causas raízes). Mesmo método, aplicado ao seu bot.

Idiomas: inglês e espanhol.