Tech
[问与答] qwen3.5 2b 或 4b 吃满 256k 上下文需要多大的显存
下载了几万本网络小说,想使用本地小模型对小说内容进行摘要,方便后续筛选阅读。本地小模型也就只有 qwen 跟 gemma 可用,我想知道需要多大的内存或显存才能吃满 256k 上下文。
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX