Tech
[Local LLM] 分享个自己在用的玩具
前段时间 qwen3.5 发布的时候,试着用 4070 跑 9b 版本,发现配合 openclaw 玩都玩不起来,而且上下文只能开到大概 32k 左右。正好这段时间没什么好折腾的了( NAS 和软路由已经稳定运行中),所以买了两块 3060 12g 和 x99 的大板和 E5 3673V3 ,另外配了个 1200w 的电源,内存用主力机拆下来的 16x2 (主力成二奶了)。 正巧赶上 qwen3.6 发布,试着跑了 27b 和 35b 模型,最终使用 mudler/Qwen3.6-35B-A3B-APEX-GGUF 模型,开 128k 上下文,输入 2000tps ,输出在 100tps ,当然上下文达到一定程度就开始胡扯降速了。 现在配合 hermes agent ,感觉可玩性挺高的,作为代码小白,可以帮我写一些小的脚本 折腾完索然无味还能出掉回点血,相当于花个千把块钱让自己又爽玩了一段时间。
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX