Tech
[分享创造] 把 Jev 接进 AI 日程助手做了 48 组对照,结果反而变差了
上次做 Jev AI Playground 时,我一直在想一个问题:
Jev 这种 decision model 真正接进 Agent 后,能不能减少 LLM 在信息不确定时擅自做决定?
后来我把它接进了一个 AI 日程助手,专门做了一轮对照实验。
一个典型场景:
“我 8:00 就到单位,具体讨论时间看您方便即可。”
这里 8:00 是到单位的时间,不是双方已经确定的会议时间。
我测试了三个 workflow:
A:现有流程
原来的 time guard + LLM 。
B:改善上下文
不加 Jev ,只解决原流程中过早切割上下文的问题。
C:B + Jev
在 B 后增加 Jev ,进一步判断 action 、time role 、time of day 、relation 、date basis 。
48 个独立 case family 的结果:
Workflow Exact match Action match
A:现有流程 42/48 42/48
B:改善 context 46/48 46/48
C:B + Jev 38/48 39/48
结果和我最初的预期相反:改善...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX