Tech
[Local LLM] RTX 3080 Ti 12G 跑 125B MoE Qwen3.8-Flash-Next — Strata 安装跟实测
3080 Ti 12G 跑 125B MoE — Strata 装好后的一些实测
配置:3080 Ti 12G / 64GB DDR4 四通道 / PCIe 3.0 / Win11
模型 Qwen3.8-Flash-Next Q2_0(39.2GB)· 引擎 Strata 0.1.43
数据都是本地实测的
一、这玩法到底是怎么回事
消费级 12G 显存跑 39GB 的模型 。
MoE 模型每个 token 只激活一部分专家,这个模型大概 6B 。Strata 的做法是把装不下的专家 扔在系统内存里 ,要用的时候经 PCIe 搬进显存。所以它是 拿内存和 PCIe 换显存容量 。
那代价也就清楚了:速度主要看你的 PCIe 和内存,不太看显存带宽。
内存 64GB 是硬门槛 ,32GB 装不下。这玩法吃的是内存,不是显存。
同一个模型有几个档,体积差挺多,直接决定你装得舒不舒服:
| 量化 | 体积 | 说明 |
| Q2_0 | 37.6GB | 最小,余量最大 |
| IQ2_XS | 39.2GB | 我一开始用的 |
|...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX