Tech
[程序员] 不明白为什么很多人用「缓存命中率」作为 agent 的性能评估参数
缓存命中强相关你的任务场景和输入,如果你的输入每次都有巨大增幅,且新增内容不同,缓存命中自然就低呀
缓存命中更多是服务端的 harness ,比如 ds 缓存过期时间长,那命中率自然高
缓存命中在多轮对话中数学角度一定是不断增长的,且你每次请求 prompt 中固定部分(一些全局/工具描述等)越大,缓存命中越高
就这么一个和多个环节相关的参数,被很多人拿来评价用户侧 agent, 不禁感叹智商的分布,很长时间不理解。
你的缓存命中高,很可能只是你的任务简单,迭代次数多罢了
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX