Modelos de decisão para evals: ajuste o limiar antes de comparar

Hamel Husain e Antaripa Saha testaram seis modelos de decisão (Jev, Perplexity Decider, Liquid d1 e d1-ultra, Cloudflare Clef Flash, OpenAI Decisions) como juízes baratos de passa/falha em 98 traces rotulados por humanos de um agente de locação de apartamentos. O limiar padrão de 0,50 muitas vezes desperdiça desempenho: na amostra completa, o ajuste levou o F1 do Clef Flash de 0,35 para 0,80. Só Perplexity, Liquid d1-ultra e OpenAI conseguiram chegar a pelo menos 80% de precisão e recall. Depois do ajuste, o OpenAI Decisions teve o melhor F1 (0,87) a 3,72 centavos por 100 execuções, cerca de 4,5x os 0,82 centavos do Perplexity, que teve F1 de 0,79. Por que importa: Juízes baratos tornam viável rodar evals em todo trace, mas só se forem tratados como classificadores. Defina precisão e recall mínimos a partir do custo de um falso alarme ou de uma falha não detectada para o negócio, ajuste o limiar em dados rotulados com validação cruzada e só então compare modelos por custo. Não leia os scores brutos como probabilidades sem checar a calibração: um grupo do Clef Flash tinha em média cerca de 8% de falha prevista, mas 60% realmente falharam. Uma ressalva: é uma única tarefa ampla em um conjunto de dados pequeno, e os autores dizem que os resultados variam muito entre tarefas.

Para testar: Pegue um eval com juiz LLM para o qual você já tem rótulos humanos, defina a precisão e o recall mínimos de que ele precisa e peça a um agente de código para ajustar o limiar com validação cruzada em cinco partes antes de compará-lo com um modelo mais barato.