Um conjunto de evals com casos must-pass substitui os critérios de aceite em funcionalidades de IA

Uma funcionalidade de IA pode passar cada item da checklist e inventar coisas na frente de um cliente. Palmer sugere guardar casos reais e rodá-los a cada mudança, com casos must-pass em que uma falha bloqueia a liberação. O exemplo é fictício. Por que importa: Uma funcionalidade de IA pode fazer tudo o que foi pedido e ainda inventar informações na frente de um cliente, e a mesma entrada pode gerar outra resposta amanhã. Um checklist aprovado uma única vez no fim do desenvolvimento não pega isso. A alternativa de Palmer é reunir exemplos reais, escrever como é uma boa resposta para cada um, listar os poucos erros que nunca podem ir para produção e verificar tudo de novo a cada mudança. O estudo de caso é inventado, então mostra o método, não prova que ele funciona.

Para testar: Escolha uma funcionalidade de IA que seu time entrega, escreva como você avaliaria a resposta dela hoje e liste as respostas que nunca podem ir para produção. Transforme cada uma em um caso de eval must-pass e rode o conjunto a cada mudança.