Tech
[分享创造] LLMRelayService:比 NewAPI 更轻量的大模型网关
最近频繁在 CodingPlan 、官方渠道间切换,折腾了 NewAPI 。但 NewAPI 的设计更偏向于中转站运营,配置繁琐,对个人自用来说显得过重(往往不需要复杂的注册、邀请、令牌分组等概念)。
结合自己的实际需求,我写了一个 更适合个人自用 的网关: LLMRelayService 。
核心特性
格式透传,原生兼容
只做 chat/responses 间的最小化转换,彻底避免因格式二次转换带来的各种模型兼容性问题。
请求全文记录(全量日志)
完整记录请求的 Full-Text ,非常适合翻阅日志排查问题。例如可以清晰看到 OpenClaw 或 Hermes 请求到底发了什么,揪出那些携带了大量、不必要的上下文。
渠道与路由分离(智能回退)
显式支持渠道和路由解耦。用户可以灵活定义 Alias (模型别名)以及设置模型自动回退( Fallback )机制,确保服务高可用。
内置轻量控制台
自带可视化面板,用量数据、请求趋势一目了然。
项目地址
🔗 GitHub...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX