编者注:此文完全是数字推演,不代表真实硬件能力。笔者不对信息准确度负责。 信源会罗列在文章下方 结合 256GB 统一内存来看,目前比较有价值的就是运行 ds-v4-flash-0731 ,恰巧最近 omlx 有过一次版本更新,官方性能数据如下: 信息来源 然后,M5 Ultra 的内存带宽是 M3 Ultra 的接近 1.5 倍。又根据苹果官网数据,其 prefill 性能是 M3 Ultra 的 4 倍( ollama 数据,框架不同,只能参考) 所以大概预期,M5 Ultra 运行 ds-v4-flash-0731 Q4 的大致性能是: prefill 上下文 M3U ( v0.5.4rc2 ) 3× 4× 1K 531.0 ~1590 ~2120 4K 486.5 ~1460 ~1950 64K 468.5 ~1410 ~1870 128K 438.6 ~1320 ~1750 decode ...