其实这个事情最开始是 26 年开始有很多号称可以节省 80%-90%token 的项目出来了,比如 RTK, caveman, ponytail.他们都声称可以节约大量的 token ,而且短期获得了几万的 github 收藏。 我之前的创业项目是做面向 e-commerce 的 chatbog ,其实是和 Universal Commerce Protocol (UCP) 一摸一样的一个产品,也是因为 UCP 的发布我没有再继续做这个赛道。今年早些时候,我就想把我们之前搭建 e-commerce chatbot agent 的架构做成 sdk 。简单说这个架构的核心是通过状态机和执行序列把同样任务中 llm 的 provider call 的往返次数减少 80%来降低同样规模的 token 消耗。 现在的问题是这样的,我很清楚为什么 RTK 这类工具在真正的长任务中是完全无效的。 我 18 号发布的报告,和 jetbrain 20 号发布的报告基本是同样的观察结果,RTK caveman 这类节省 toekn 的插件在真实长任务中毫无作用: https://blog.jetbra...