大家好,分享一个我自己维护的开源项目:GT AI Gateway 。它解决的问题很朴素——当你手里有一个或多个上游 API Key ,想分给团队里多个人用的时候,直接发 Key 既控制不了用量,也防不住泄漏。这个网关就是插在中间的那一层。 项目地址: https://github.com/alexazhou/gt_ai_gateway 多上游负载均衡与故障切换 一个模型可以同时挂多个上游渠道(比如官方 + 代理 + 备用)。请求会自动分摊到各个渠道上,某个渠道挂了会自动切到还活着的那个,用的人基本无感。 选渠道的方式可以自己定:让同一个用户固定走同一个渠道(上游那边的缓存命中率更高,更省钱),或者每次请求都随机分配。失败后要不要自动切换,是个独立开关。 限流与访问控制(本版新增) 举个常见的例子:上游 API 被单个用户占满了怎么办? 有人跑了批任务,或者不小心写出个死循环,把上游额度刷满,其他人就跟着一起干等。这个版本加了限流和访问控制,可以在网关这一层把问题挡掉: 按用户限速 :给每个人配一个每分钟请求上限。避免出现单个用户把整个上游占满的...