Runta 最近发布了一个 Coding Agent Harness 评测，名字叫 FrontierHarness Eval 。 他们让同一个 Kimi K3 跑 30 道题，每轮只更换 Agent Harness 。公开结果里，通过率从 50.0% 到 66.7%，每通过一道题的成本从 1.05 美元到 18.34 美元。 看完 发布文章 、任务和逐题结果，差距比我原先预想的大。 FrontierHarness v1.0 选了 30 道题，其中 21 道来自 Terminal-Bench ，9 道来自 DeepSWE 。Runta 测了 9 个 Harness 、12 组配置，一共跑了 360 个 cell 。 所有配置都使用 Kimi K3 。模型经由同一个网关连接到 Fireworks ，任务环境做成 Golden Checkpoint 。每次运行都从同一份快照恢复，vCPU 、内存、磁盘和内存状态保持一致。调试不用正式题，每个 cell 只跑一次。 这些约束固定了模型、任务和运行环境，Harness 成为主要变量。 一样的通过率，成本差了 5.6...