Tech
[程序员] 为什么“节省 90% Token”不等于 Coding Agent 总成本降低 90%
最近把几个“Token 节省”插件放到完整仓库任务里做了一个小型配对实验,结论和常见宣传口径差异很大。 任务不是单轮代码补全,而是把 Rust eza 仓库重写成行为兼容的 Python 实现,并通过 52 项 harness 检查。模型、推理档位和 Codex CLI 版本保持一致,每组目前只有 2 次运行: 无插件:78.85% 通过率,平均 666 万 Token ,约 5.28 美元,62.5 轮 Ponytail:通过率 80.77%,Token -7.56%,成本 -8.87%,但耗时 +13.51% RTK:通过率 76.92%,Token +13.20%,成本 +7.18%,轮次 +44% 更值得注意的是组内波动:无插件两次运行的成本极差/均值是 43.25%,Ponytail 是 51.69%,RTK 是 30.78%。所以 n=2 不能证明插件有因果效果;所谓 8.87% 节省本身还小于自然运行波动。 另一个 140 次 Codex 运行的数据里,缓存输入占总 Token 的 96.46%、总成本的 63.91%;模型输出只占 Token 的 0.38%。因...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX