Roteamento de modelos precisa de política, avaliações e fallbacks

O post da IBM Research no Hugging Face argumenta que roteamento de modelos não é apenas enviar tarefas fáceis para modelos mais baratos; ele exige classificação de tarefas, desenho de fallback, orçamentos de latência, orçamentos de custo e avaliação. Por que importa: Roteamento só reduz custos quando as restrições de confiabilidade são explícitas. Sem amostras de avaliação e regras de fallback, um roteador de modelo barato pode trocar qualidade silenciosamente ou criar falhas difíceis de depurar.

Para testar: Antes de adicionar um roteador, escreva uma política de roteamento de uma página: classes de tarefa, perda aceitável de qualidade, latência máxima, custo máximo, modelo de fallback e um pequeno conjunto de avaliação de regressão.