模型与推理

模型插件改变由哪个模型来回答以及如何回答：第三方端点的适配器、按任务挑选模型的路由器、供应商故障时的回退链、token 与成本核算，以及推理强度控制。

在你依赖路由规则之前，先把它读懂。一个静默回退到更便宜模型的适配器，可能在毫无提示的情况下改变输出质量；而成本插件只有在把用量归因到实际处理请求的供应商时才有用。