Evals de cold start usam casos do piso ao teto como especificação do produto

Aakash Gupta apresenta o método de eval de cold start de Daniel McKinnon para uma funcionalidade de IA sem traces de produção: definir um caso de piso claramente solucionável, um caso de teto deliberadamente difícil e depois gerar e revisar casos entre os dois. Por que importa: Exemplos podem tornar uma funcionalidade ampla de IA testável antes do lançamento. Eles ajudam a equipe a encontrar tarefas que o modelo ainda não resolve, limitar o escopo inicial do produto e dar a produto e engenharia um artefato comum para avaliar mudanças.

Para testar: Execute um eval de cold start para uma funcionalidade de IA planejada. Defina um caso de piso e um caso de teto com respostas defensáveis; depois salve 20 casos intermediários de eval, cada um com entrada, resposta esperada e regra de aprovação ou reprovação.