Tech
[问与答] 想本地化最小成本部署 qwen3.8 27b 求个配置建议
我目前机箱和电源( 850w )都只支持单卡,目前是 2080ti 22G 魔改,能跑 4bit 量化版本 但是 KV 不够了,上下文太短。想换卡,换 3090 24G 还是 4080s 32G 魔改呢?后者比前者贵 5000 左右,要不要换呢?还是说等老黄的大饼(显存内存一体笔记本)还是加预算上 mac 呢?如果不本地部署,买订阅也够用 4 、5 年。但是未来不好说啊,自己能有一个推理和执行 skills 准确率 80%以上的大模型真的很香
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX