← Voltar à edição18 / 22 · Semana de 27 de jul de 2026

HANDBOOK.md testa aderência a políticas com uso real de ferramentas

O HANDBOOK.md apresenta 65 tarefas para agentes em ambientes corporativos simulados, nos quais eles precisam seguir procedimentos de 20 a 124 páginas enquanto usam serviços de e-mail, chat, calendário, issues e comércio conectados por MCP. Por que importa: Arquivos longos de política parecem camadas de controle até o agente precisar carregar suas regras por uma sequência de ferramentas. O benchmark avalia ações exigidas e proibidas com 824 critérios programáticos, para que uma resposta final plausível não esconda um processo quebrado.

Para testar: Leia a rubrica de uma tarefa antes de confiar em uma abordagem baseada em arquivo de política. Confira se a avaliação testa ações proibidas e conflitos de regra, não só a conclusão da tarefa.

Hacker News 325 pts · ago 2verificar ↗
Fonte
arXiv — HANDBOOK.md
conteúdo em inglês
Ver fonte →

Receba o field brief toda semana.

Um sinal principal, três sinais rápidos, uma coisa para testar, um conceito decodificado - e o resto da semana na linha. Para quem quer saber o que importa e o que fazer a seguir.

Assine grátis →
Grátis toda semana·Sem spam·Cancele quando quiser