做得好不好?
Agent 上线不应依赖概率性的「单次能跑」;pilot 与生产共用同一度量刻度,合格标准可对齐。
Freyja Eval
保障 Agent 从容走向生产
从 Freyja 抽象的可迁移 Eval 设计 —— 收窄信任鸿沟
Agent 上线不应依赖概率性的「单次能跑」;pilot 与生产共用同一度量刻度,合格标准可对齐。
单点日志不足以界定 Multi-Agent 失败;Bad Case 应可归类、可下钻至根因,并反哺工作流与架构迭代。
发版前以门禁拦截 regression,线上以监控与分级降级兜底;修复固化为可复测样本,critical 项对发版具一票否决效力。
双 Trace 防线 × 确定性终态校验 × 双轨闭环——通用方法论在 Freyja 的实例化
pilot 实证:摘取真实失败的发现、归因与固化
supervisor 以 Markdown 文档转述方式向 SubAgent 传递配置信息,同一输入多次运行会概率性丢失关键参数——每个 Agent 单看都对,错在交接面。判断:问题在转译层而非模型能力,故不靠加大 prompt,而是改为结构化需求清单(JSON Brief)交接,并规划升格为 shared state 按版本读取;单点全绿不再视为通过,须链级多次运行验证,该失败已固化为回归样本。
用户多轮、多文件上传资料后,系统汇总的需求清单相对原始资料漏项;后续规划、执行与自检均对照这份缺项清单,看似全部通过,平台配置却仍缺项。判断:Agent 自报与内部自检不可信——产品侧落地多轮增量合并,评估侧为需求清单设分层防线(格式 · 信源一致性 · 用户确认 · 版本防漂移)并以平台终态校验兜底,上传资料持久化列入规划。