Datasets de agentes precisam de falhas e rastros de recuperação

NVIDIA e Hugging Face argumentam que dados úteis para agentes devem incluir falhas de ferramentas, problemas de recuperação, recuperação de fluxos, comportamento de segurança e rastros de múltiplas etapas, não apenas saídas bem-sucedidas. Por que importa: A qualidade de agentes depende do que os sistemas aprendem e avaliam quando ferramentas quebram, o contexto está incompleto ou um fluxo precisa se recuperar. Datasets que preservam esses rastros tornam o trabalho de confiabilidade mais concreto.

Para testar: Ao criar um conjunto de avaliação para agentes, salve pelo menos um exemplo de falha de ferramenta, recuperação ruim, recuperação após erro e um caso em que o agente deve parar ou pedir revisão.