A avaliação de agentes precisa de rastros operacionais

O guia de avaliação de agentes da InfoQ enquadra a qualidade em conclusão de tarefas, recuperação de falhas de ferramentas, deriva de memória, latência, custo por tarefa, tratamento de PII e limites de política. Por que importa: Avaliações úteis de agentes precisam medir o sistema inteiro, não apenas a qualidade da resposta final. Checagens no nível do rastro mostram se ferramentas falharam silenciosamente, se o contexto desviou ou se uma tarefa ficou cara demais para repetir.

Para testar: Adicione uma pequena checklist de avaliação a uma tarefa com agente: critérios de sucesso, erros de ferramentas, tentativas, latência, custo estimado, mudanças de memória e dados sensíveis nos rastros.