Vou criar tarefas genuinamente desafiadoras de terminal bench e bench SWE
Avaliação de IA
Sobre este Serviço
Sou um(a) autor(a) experiente de tarefas de benchmark Terminal Bench e SWE bench.
Criei e submeti 32 tarefas desafiadoras de Terminal-Bench 2.1 através da plataforma Snorkel AI para treinamento e avaliação de agentes frontier AI, das quais 21 submissões foram aceitas.
Fui selecionado(a) como revisor(a) para avaliação de tarefas de benchmark SWE-bench, para apoiar a revisão de qualidade e prontidão das tarefas. Eu revi 83 tarefas SWE-bench submetidas e implementei correções quando aplicável.
Também submeti 21 tarefas SWE bench benchmark, com 17 aceitas entre elas
Também criei 13 tarefas do Terminal Bench 3.0 até o momento.
Número de tarefas criadas de 18 tarefas do Terminal Bench 4.0 até agora.
Nesta gig estou oferecendo tarefas dos seguintes benchmarks:
- Terminal Bench 2.1
- Terminal Bench 3.0
- Terminal Bench 4.0
- SWE Bench
Existem três pacotes (Basic, Standard e Premium) contendo números diferentes de tarefas em cada pacote.
Garanto tarefas de alta qualidade e dificuldade genuína elevada (evitando falsos insucessos), independentemente do pacote que você escolher.

