Tech
[Local LLM] 我开源了一个 deepseek harness 插件,解决挂接 sglang/vllm 时,角色冲突的问题
https://github.com/kop1989/dsh-localqwen-rolefix 本质来讲,就是一旦 dsh 的请求带推理强度,角色就会变成”developer“。但是 vllm 和 SGLang 是不认这个角色的。他们只认”system“、”user“这两个用户侧角色。 插件的作用,就是在保留 dsh 的推理强度选项的前提下,让 sglang 和 vllm 可以正常使用 dsh 。不会出现 400 错误。 这样既方便调整思考强度(默认 xhigh 会超长思考),又可以使用 sglang 超强的 prefill 性能。 以上。
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX