最近在做带工具调用的对话 Agent ，换 Prompt / 模型之后，经常不知道整体是变好了还是变差了。 网上那些大模型排行榜，多半在比「回答好不好看、聊起来顺不顺」； 我想评的是另一件事：对着一次完整交互，看意图理解对不对、工具用得靠不靠谱、最终结果能不能用。 于是搓了个轻量框架开源出来： GitHub： https://github.com/Bingo-choco/ai-evaluation 大概长什么样 输入一份结构化交互日志（用户问题 + 中间过程 + 最终回复），输出三维分： 意图理解 工具调用 结果输出 0/1/2 + 简短理由；不好的样本会打问题标签。前端可以上传批次、看进度和聚合结果，也能导出。 链路很短（ LangGraph ，共享状态，不是 Agent 互聊）： 解析 → 规则短路 → 相似样本召回(few-shot) → 拼 Prompt → 压缩(防超 token) → 多路打分合并 → 置信度/聚合 硬错误走规则，能短路就不用调 LLM ；拿不准的再交给多路 Judge 投票。...