Tech
[Local LLM] mac m5 ultra 上线中国官网。1.2T 显存带宽, 256GB 版本 8.6 万
编者注:此文完全是数字推演,不代表真实硬件能力。笔者不对信息准确度负责。
信源会罗列在文章下方
结合 256GB 统一内存来看,目前比较有价值的就是运行 ds-v4-flash-0731 ,恰巧最近 omlx 有过一次版本更新,官方性能数据如下: 信息来源
然后,M5 Ultra 的内存带宽是 M3 Ultra 的接近 1.5 倍。又根据苹果官网数据,其 prefill 性能是 M3 Ultra 的 4 倍( ollama 数据,框架不同,只能参考)
所以大概预期,M5 Ultra 运行 ds-v4-flash-0731 Q4 的大致性能是:
prefill
上下文
M3U ( v0.5.4rc2 )
3×
4×
1K
531.0
~1590
~2120
4K
486.5
~1460
~1950
64K
468.5
~1410
~1870
128K
438.6
~1320
~1750
decode
...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX