Tech
[分享创造] 我测试出 Jev 的一个实用方向:给 AI Agent 做事实质检,进一步用在 RAG 核查
我的结论:Jev 值得用来低成本筛查 AI 有没有把事情记错。 让它核对一个具体事实,比让它重新判断整个任务更有意思。
比如:
用户说:周五有读书会,开场时间还没公布。
AI 记成:周五 19:00 开始。
格式正确、保存成功,但时间是编的。Jev 可以对照原文,把这种“看起来合理、实际没有依据”的事实标出来。
我做了一组小规模合成实验:
32 条保留检查中,Jev 和 GPT-5.5 都找到了 16 条问题,对另外 16 条正常事实没有误报。
同轮各 80 次调用,中位耗时分别为 0.87 秒和 4.10 秒。
按实验记录费率估算,Jev 的核查调用成本明显更低。
之前我让 Jev 同时参与多个字段的决策,效果反而变差。缩小成“这个事实,原文到底有没有说”,才找到了值得继续试的方向。
更让我感兴趣的是:如果检查足够便宜,哪些原来只能人工抽查的工作,可以更频繁地检查?
下面这些是应用猜想,尚未实测:
客服、会议纪要、CRM
AI 承诺退款,政策里有依据吗?纪要里的负责人和截止日期,是大家明确同意的,还是模型补全的?“客户感兴趣”有...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX