Langfuse deriva métricas de avaliação de traces

O artigo da Langfuse Academy, assinado por Lotte Verheyden, propõe derivar métricas de avaliação de agentes a partir de falhas observadas em traces, além de métricas de meta e guardrails para restrições conhecidas. Uma candidata só fica quando uma mudança na métrica altera uma decisão. Por que importa: Uma biblioteca de verificações genéricas pode não mostrar como um agente específico falha. O caminho do artigo é verificável: revisar traces, nomear falhas recorrentes, definir um score e ligar esse score a uma decisão de deploy, prompt ou investigação.

Para testar: Revise de 30 a 50 traces de um agente. Registre uma nota curta de falha e passou ou falhou para cada um, agrupe as notas em categorias e crie um eval booleano apenas quando o resultado puder mudar uma decisão concreta.