Tech
[分享发现] [开源自推] My AI Gateway | 适合个人的 AI 聚合网关 重点是熔断重路由
My AI Gateway ( MAG )
适合个人的 AI 聚合网关,开发该项目重点是将多个渠道“ 模型聚合 ”、“ 故障转移 ”与“ 熔断 ”,一个入口模型可以指定多个模型,支持配置熔断范围(模型/apiKey 级别),熔断冷却后自动可用,一个渠道可以支持多个 apiKey 。
熔断类型 :
模型:当模型不可用时,只熔断该 apikey 的该模型;
apiKey 级别: 当模型不可用时,熔断整个 apiKey ;
效果:
需要的话可以部署看看
部署 :
git clone git@github.com:My-Search/my-ai-gateway.git
cd my-ai-gateway
cp .env.compose.example .env.compose
bash update.sh
# 卸载:docker-compose down && cd ../ && rm -rf ./my-ai-gateway
访问面板: http://<你的 ip>:3990
使用: htt...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX