Claude automatiza o desenho de evals e o hillclimbing com teste reservado

A Anthropic adicionou os comandos build-eval e hillclimb à skill claude-api: um monta casos parecidos com produção e valida o avaliador; o outro altera uma superfície limitada por vez, mantém o patch apenas quando os resultados de treino e do teste oculto melhoram e reverte regressões. Por que importa: Ajustar prompts e agentes pode melhorar a nota de um benchmark sem melhorar o produto real. Esse fluxo torna a otimização inspecionável ao medir primeiro o ruído, separar falhas de treino visíveis de um conjunto reservado e deixar o código no melhor resultado de teste, não na última mudança tentada.

Para testar: Rode build-eval sobre uma falha recorrente de produção, aprove os casos e o avaliador e depois use hillclimb em um prompt ou na descrição de uma skill. Salve a linha de base, o intervalo de confiança, a divisão treino/teste e o patch aceito como evidência de revisão.