eu vou avaliar e corrigir suas alucinações do chatbot rag e a precisão de recuperação

M
mahmoudrfaey
M
mahmoudrfaey
Mahmoud Refaey
Algumas informações foram traduzidas automaticamente.
evaluate and fix your rag chatbot hallucinations and retrieval accuracy
Tela Inteira
evaluate and fix your rag chatbot hallucinations and retrieval accuracy

Sobre este Serviço

Tradução automática

Seu chatbot RAG parecia bem na demonstração. Aí os usuários reais começaram a fazer perguntas reais e agora ele dá respostas incorretas com total confiança.


Normalmente o problema não é o modelo. É a recuperação, o chunking ou o texto que saiu do OCR com erro. eu descubro qual é, com números em vez de suposições.


Esse é o trabalho que eu mais conheço. Em um chatbot bancário sobre PDFs digitalizados na GBG, medimos a fidelidade em 79%. Depois de corrigir o OCR e adicionar busca híbrida, reclassificação e reescrita de consultas, chegou a 97%, e a exatidão passou de 61% para 85% (DeepEval, LLM como juiz).


Como funciona:

1. eu gero um conjunto de testes a partir dos seus documentos e perguntas reais de usuários

2. eu avalio fidelidade, exatidão e qualidade de recuperação

3. eu identifico a causa de cada falha: parsing, chunking, search, classificação ou prompt

4. você recebe um plano de correção, ou eu faço as correções e avalio de novo


Você recebe um relatório curto com números antes e depois no mesmo conjunto de testes. Não prometo um número específico, já que depende dos seus dados.


Funciona com LangChain, LlamaIndex ou pipelines Python simples, em qualquer idioma em que seus documentos estejam.


Envie-me alguns exemplos de respostas ruins. Muitas vezes isso já basta para eu te dizer onde olharia primeiro.

  • Expertise em modelos

    • IA generativa

  • Setor

    • Serviços financeiros

  • Linguagem de programação

    • Python

  • Idioma

    • Árabe
    • Inglês

  • Experiência técnica

    • Processamento de linguagem natural (PLN)

Conheça mais sobre Mahmoud Refaey

Mahmoud Refaey

AI Engineer building RAG systems, LLM agents and Arabic NLP

  • A partir deEgito
  • Membro desdenov. de 2024

  • Idiomas

    Árabe, Inglês
I build LLM apps that work on real, messy data: RAG chatbots over your documents, LangGraph agents, and Text-to-SQL tools that let your team query a database in plain language. Much of my work is in Arabic. At GBG I helped take an Arabic banking RAG chatbot from 79% to 97% faithfulness, mostly by fixing OCR on scanned PDFs and improving retrieval. Stack: Python, FastAPI, LangGraph, Azure OpenAI, Qdrant, PostgreSQL, Docker, LoRA fine-tuning. Tell me what you're building and I'll tell you how I'd approach it.

Tradução automática

Meu portfólio

Tags relacionadas