Tech
[程序员] 我为什么放弃低价 AI API 中转,自己做了一套 OpenRouter Gateway
最近被低价 API 中转站折腾得有点累,也顺手做了一个 OpenRouter 网关
事情起因很普通。
我平时会用 API 接 Cursor 、Grok Builder, Claude Code 、Codex 等工具。之前找过一些价格看起来很便宜的中转服务,刚开始没觉得有什么问题,但用一段时间后,偶尔会发生一种很奇怪的情况:
明明客户端选的还是同一个模型,模型表现却突然断崖式下降。
具体表现包括:
前面刚交代过的上下文,几轮之后就忘了;
重构代码时漏文件、改错调用关系;
工具调用格式突然变得不稳定;
长对话越到后面,回答越像只看到了最后几条消息;
同一个模型昨天还能处理的任务,今天突然开始反复犯低级错误。
一开始我以为是模型本身有波动,或者客户端更新后改变了系统提示词。后来我分别检查了客户端请求、流式响应和 Token 使用情况,又用官方渠道对相同任务做了几组对照,才发现问题未必出在模型本身。
有些中转服务可能会缩短上下文、改写请求参数、压缩历史消息,或者将请求路由到成本更低的模型和渠道。客户端显示的模型名称没有变化,实际收到的服务却可...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX