看到很多人对 llm 推理速度的描述都是 decode 主导/带宽控制/prefill 忽略不计,我想要提醒的是,这只对高算力 gpu/代码等密集推理来说是客观的,如 pro6000/5090 这类,本地 agent 场景并不是这样。
首先明确几个问题:
1 、未命中缓存的输入量:输出量是多少?长输出的密集推理往往输出大于输入(未命中缓存部分),甚至能达到 2:1 。工具密集的 agent 场景,根据我的 hermes agent 的数据,最近三天的数据是新输入量 / 输出量 = 4,882,795 / 377,561 ≈ 12.9 : 1,主要任务是信息检索/汇总/文件处理/智能家居。
2 、本地 agent 更多的工作在哪个场景?我认为主流场景是 12.9:1 这种,指望本地 ai 跑密集推理+编码任务不太现实啊。
3 、不同硬件的 prefill 速度和 decode 速度?以近期最火的 qwen3.6 27b 为例( 8bit 开 mtp 参考值),5090 prefill 3000tps ,decode 70tps ,m3 ultra prefill 300tps ,de...