Tech
[AI Agent 智能体] 记一次 DeepSeek harness 吞对话的解决过程 [dsh 压缩机制问题]
环境:
OS: MacOs m1pro 32G
Agent:DeepSeek harness 0.1.1-rc.2
LLM server:unsloth desktop mlx
Model:Ornith-1.5-9B-MLX-4bit · 35,328 ctx
现象:
dsh 上下文长度达到 80%以上 ,用户发送的 promote 会消失,agent 没有返回任何信息
排查:
1 、dsh 观察日志,未收到有效响应
2 、排查 unsloth api 响应,发现有响应,但是 stop 了,reason 是 length
3 、初步怀疑 dsh 没有压缩上下文 超长了,ui 中看到的也反映这一点,32k 左右的上下文,显示已经接近 30K 了,也没有压缩
4 、手动 compact 一下,dsh 没反应,unsloth api 响应还是 stop reason length
5 、随后请 codex 排查,发现官方有讨论,dsh 压缩时机太晚,导致上下文超长,并且还有个问题是 dsh 接收响应:STOP REASON=length 并不会走 compact 路径,...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX