Ver categorias
Português
$
USD
Conecte-se à sua IA
Vou construir uma suíte de avaliação de llm ou auditar seu llm judge
Adham Momen
Sobre este Serviço
Tradução automática
Seu recurso de LLM passou no demonstração. Ele continuará passando após o próximo prompt ou mudança de modelo?
Eu desenvolvo suítes de avaliação que respondem a isso. Você recebe uma rubrica escrita para o seu caso de uso, um conjunto de testes com respostas esperadas e, se um LLM classifica suas saídas, uma verificação de quão confiável é esse juiz.
O que você recebe:
- Uma rubrica e um conjunto de testes construídos em torno das suas verdadeiras falhas
- Auditoria de LLM-as-judge: concordância com avaliações humanas, corrigida pela chance (kappa de Cohen, alpha de Krippendorff), além de sondas de viés
- Uma porta de regressão CI (Premium) para que toda mudança seja testada com a suíte
Por que eu: eu criei judgecheck, um relatório de confiabilidade para juízes de LLM que mostra como 96% de concordância bruta pode esconder pontuações corrigidas pela chance tão baixas quanto 0,60, e coding-eval, que reencena tentativas de agentes de codificação em um sandbox (20 de 21 supostamente bem-sucedidos; 5 tiveram sucesso). Eu avalio código de modelos de fronteira profissionalmente e crio rubricas e ferramentas de calibração para IA clínica em árabe.
Envie uma mensagem com o que a funcionalidade faz, alguns inputs e outputs de exemplo e como uma boa resposta parece para você.
Conheça mais sobre Adham Momen
Adham Momen
AI Red Teaming and LLM Evaluation Engineer
- A partir deEgito
- Membro desdejul. de 2021
Idiomas
Árabe, Inglês
I test AI systems the way attackers do: prompt injection, jailbreaks, data leakage and unsafe agent tool use. You get a report with working reproductions and fixes. I also build LLM evaluation suites and RAG/MCP backends in Python. I've published tools that red-team agents and audit LLM judges and guardrails (adhammomen.com), evaluate frontier-model code professionally, and contribute to open-source AI projects. I'm a fourth-year medical student and a native Arabic speaker, so I also cover medical and Arabic AI.
Tradução automática
Meu portfólio
Outros serviços de Desenvolvimento de IA que eu ofereço
Perguntas frequentes
Tradução automática
O que você precisa de mim?
Acesso ao modelo ou API que você usa (ou um arquivo com saídas salvas), alguns inputs reais de exemplo e qualquer avaliação humana que você já tenha. Se não tiver nenhuma, combinamos uma rodada de avaliação pequena juntos.
