Tech
[程序员] [开源] 带领 AI 团队开发了一个极轻量的 GT AI Gateway:支持协议转换、请求查看,还能大幅降低 Claude Code 等调用成本
大家好,最近带领 AI 团队,开发了一个轻量级大模型网关项目: GT AI Gateway
我们在平时开发和使用大模型 API 时,经常会碰到下面这些痛点:
费用黑洞 :把 API Key 填进各种工具(比如最近很火的 Claude Code )里跑,额度跑飞了都不知道,缓存命中率极低,成本居高不下。
协议壁垒 :手里的工具支持 Anthropic 协议,但上游 api 只有 openai 格式。
黑盒调试 :Prompt 发出去之后,很难知道底层到底拼接了什么历史消息和工具调用,出了 Bug 只能靠盲猜。
共享风控 :想把自己的 Key 分给朋友或小号用,但又怕他们不小心额度超标,或者直接泄露。
为了把这些问题一揽子解决,我写了 GT AI Gateway 。它的定位是: 轻量、全能、还能帮你省钱的透明代理 。
🌟 核心杀手锏
1. 智能请求拦截与缓存优化(帮你省钱)
这是个非常实用的特性。比如大家常用的 Claude Code ,默认情况下它会注入很多随机标记,导致直接调用 OpenAI API 时**缓存命中率几乎为 0%...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX