MLflow 通过客服示例 SupportBot,演示如何使用 MLflow AI Gateway 追踪多智能体调用成本、设置预算并优化模型路由。示例中单个问题涉及 4–6 次 LLM 调用,成本数字均为示意;预算策略支持 ALERT 通知及 REJECT 返回 HTTP 429 阻止新请求。
阅读原文