大家好,最近带领 AI 团队,开发了一个轻量级大模型网关项目: GT AI Gateway 我们在平时开发和使用大模型 API 时,经常会碰到下面这些痛点: 费用黑洞 :把 API Key 填进各种工具(比如最近很火的 Claude Code )里跑,额度跑飞了都不知道,缓存命中率极低,成本居高不下。 协议壁垒 :手里的工具支持 Anthropic 协议,但上游 api 只有 openai 格式。 黑盒调试 :Prompt 发出去之后,很难知道底层到底拼接了什么历史消息和工具调用,出了 Bug 只能靠盲猜。 共享风控 :想把自己的 Key 分给朋友或小号用,但又怕他们不小心额度超标,或者直接泄露。 为了把这些问题一揽子解决,我写了 GT AI Gateway 。它的定位是: 轻量、全能、还能帮你省钱的透明代理 。 🌟 核心杀手锏 1. 智能请求拦截与缓存优化(帮你省钱) 这是个非常实用的特性。比如大家常用的 Claude Code ,默认情况下它会注入很多随机标记,导致直接调用 OpenAI API 时**缓存命中率几乎为 0%...