Tech
[Local LLM] 你好 NVFP4: strata-0.1.44.1, qwen3.8-flash-next, rtx pro 5000 48GB + 64GB RAM, decode 130t/s, prefill2600 t/s
如题。
相较于只有 ISTA-DASLab 孤立跑分 的 IQ3 系列, nvfp4 有英伟达官方站台 ,所以其能力会更有说服力。
更何况 nvfp4 并不是全 4bit ,很多参数都保持了全量 bf16 。
对于 64GB ram + rtx pro 5000 48GB 而言。瓶颈主要是因为专家变大了,导致显存只能放进 13500 个专家,从而专家命中率从 99.7%降低至大概 97.x~99%。
然后就是因为内存的紧张,所以 Conversation cache 只能维系在 8GB ,4slot 。
其他的配置保持不变。
如惯例,贴出我的配置表:
args": [
"--pack",
"C:\\work\\Strata-data\\models\\Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata\\pack",
"--native",
"C:\\work\\Strata-data\\models\\Maximilian228--Qwen3.8-Flash-Next-NVF...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX