Eu vou criar benchmarks de agente de codificação AI com testes e configuração de docker
Engenheiro de Software, Avaliação de Codificação com IA, Benchmarking de Agentes
Sobre este Serviço
Precisa de desafios de codificação reprodutíveis para avaliar assistentes de codificação IA e agentes de codificação autônomos?
Vou criar e validar tarefas de benchmark de engenharia de software projetadas para medir o desempenho do codificador-ia.
SERVIÇOS
- Especificações de tarefas baseadas em repositório para correção de bugs, recursos ou refatoração
- Soluções de referência e resultados esperados
- Testes automatizados de unidade e scripts de validação
- Configuração de ambiente Docker quando incluída no seu pacote
- Verificações de execução, critérios de avaliação e análise de falhas
ENTREGÁVEIS
Instruções de tarefa, arquivos de benchmark, testes, soluções de referência (quando incluídas) e notas de validação.
Meu histórico inclui engenharia de software backend e exercícios práticos de benchmark de IA com especificação de tarefa, soluções de referência, validação de testes e Docker.
Trabalho com repositórios autorizados e requisitos de projeto acordados. Envie mensagem antes de encomendar para confirmar idioma, complexidade da tarefa e escopo do pacote.
Aplicação de teste:
Software
Dispositivo:
Linux
Meu portfólio
Perguntas frequentes
Tradução automática
O que é um benchmark de agente de codificação IA?
É uma tarefa de engenharia de software reprodutível que mede se um agente de codificação consegue fazer alterações corretas e passar nos testes definidos.
Você pode criar tarefas a partir do meu repositório existente?
Sim, se você for proprietário do repositório ou estiver autorizado a usá-lo e fornecer o acesso necessário.
Vocês incluem testes automatizados e soluções de referência?
Os testes estão incluídos em todos os pacotes. Soluções de referência estão incluídas no Standard e no Premium.
Você vai fornecer configuração Docker?
A configuração baseada em Docker está incluída no Premium ou pode ser orçada como um adicional, quando tecnicamente viável.
Você pode avaliar as submissões de agentes de codificação?
Sim, com base nos testes de aceitação acordados e critérios; um relatório de avaliação detalhado pode exigir uma oferta personalizada.
O benchmark é compatível com meu harness de avaliação?
Posso me adaptar a uma interface documentada se for tecnicamente viável. Compartilhe o formato necessário antes de encomendar.
