Tech
[问与答] H100*2 本地部署大模型求助
手里有两块 H100 96G 版,用的 AMD 平台,128G DDR5 内存。
目前使用 vLLM 部署的 qwen3.8 27B 感觉有点大材小用,求推荐更合适的模型。
主要用途:
1.本地 agent 调用
2.部分编码工作
3.rag 问答
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX