MLflow 通过追踪、分层评估和提示词版本管理，介绍覆盖原型开发、质量迭代与生产监控的评估驱动开发流程。原型阶段记录模型调用、工具调用及检索步骤，随后结合领域专家反馈、内置与自定义 LLM 评判器构建评估数据集，并用 Prompt Registry 和 optimize_prompts 管理、优化提示词。上线前通过仪表盘评估成本、延迟与质量，上线后将离线评估使用的评判器持续应用于生产追踪数据。
阅读原文