How to Evaluate an AI Agent Beyond Accuracy

很多人评估 AI system 时只问一个问题：答案对不对？

对 Agent 来说，这远远不够。

一个 Agent 哪怕回答得很流畅，也可能在中间好几步出了问题：

• 没理解用户到底想干嘛。
• 调错了 Tool，或者参数不对。
• 检索到一堆没用的知识。
• 该追问的时候直接给了答案。
• 多轮聊下来越来越偏。

A Better Evaluation Frame

我倾向于把 Agent 的 Evaluation 拆成几层：

1. Intent Recognition：Agent 理解用户想做什么了吗？
2. Knowledge Grounding：用的是对的知识来源吗？能追溯吗？
3. Tool Behavior：选了正确的 Tool 吗？参数对吗？
4. Conversation Control：知道什么时候该答、该问、该拒、该升级吗？
5. User-facing Quality：最终回答清楚吗？安全吗？真的有用吗？

Why This Matters

Accuracy 只是最后那层结果，Agent 的可靠性来自整条决策链。

如果一开始 Intent 就判断错了，最后答案再流畅也白搭。

My Takeaway

做 Agent Evaluation Set 的时候，除了标准答案，还要记下期望的中间行为：Intent、检索证据、Tool Calls、Failure Type。这样才知道系统为什么成功，也才能定位它为什么失败。