Vou criar tarefas genuinamente desafiadoras de terminal bench e bench SWE

Algumas informações foram traduzidas automaticamente.

Índia

Eu falo Hindi, Inglês

Avaliação de IA

Sou candidato a B.Tech com experiência prática em criação e revisão de tarefas de bench de Terminal bench e SWE bench para agentes IA de fronteira e em construção de sistemas Python ML/RAG. Especializ...
Sobre este Serviço

Sou um(a) autor(a) experiente de tarefas de benchmark Terminal Bench e SWE bench.


Criei e submeti 32 tarefas desafiadoras de Terminal-Bench 2.1 através da plataforma Snorkel AI para treinamento e avaliação de agentes frontier AI, das quais 21 submissões foram aceitas.


Fui selecionado(a) como revisor(a) para avaliação de tarefas de benchmark SWE-bench, para apoiar a revisão de qualidade e prontidão das tarefas. Eu revi 83 tarefas SWE-bench submetidas e implementei correções quando aplicável.


Também submeti 21 tarefas SWE bench benchmark, com 17 aceitas entre elas


Também criei 13 tarefas do Terminal Bench 3.0 até o momento.

Número de tarefas criadas de 18 tarefas do Terminal Bench 4.0 até agora.


Nesta gig estou oferecendo tarefas dos seguintes benchmarks:


  1. Terminal Bench 2.1
  2. Terminal Bench 3.0
  3. Terminal Bench 4.0
  4. SWE Bench


Existem três pacotes (Basic, Standard e Premium) contendo números diferentes de tarefas em cada pacote.


Garanto tarefas de alta qualidade e dificuldade genuína elevada (evitando falsos insucessos), independentemente do pacote que você escolher.

Tags relacionadas