YC: o harness do agente influencia resultados além dos pesos do modelo

A sessão State of Harnesses, da Y Combinator, examina o sistema ao redor de um modelo de IA: contexto persistente, ferramentas, sandboxes, comunicação entre agentes, orçamentos e verificação. O argumento prático é que essas escolhas podem mudar de forma relevante o desempenho do mesmo modelo em trabalhos de várias etapas. Por que importa: Escolher um modelo mais forte não resolve um agente que perde o estado de trabalho, usa as ferramentas erradas ou atua sem limites. A camada operacional merece o mesmo cuidado de design e teste que a escolha do modelo.

Para testar: Em um fluxo de agente com várias etapas que falha de forma intermitente, compare o que o agente recebe em dois turnos consecutivos. Verifique se resultados de ferramentas, decisões e limites de ação anteriores ainda estão presentes antes de trocar de modelo.