Tech
[问与答] 大家现在 AI Agent 都是怎么管理多个大模型的?
大家好,我是 ZGI 的产品运营 Eddie 。
最近我们把 ZGI 开源了,正在继续打磨里面的一些企业 AI 运行能力。
我自己最近比较关注一个问题:当一个团队同时用 GPT 、Claude 、DeepSeek 、Qwen 、Gemini 这些模型时,到底应该怎么管理?
一开始可能没什么感觉,大家各用各的 API Key 、各接各的平台。
但项目多了以后,问题会慢慢出来:
API Key 到处散落;
谁在用哪个模型不清楚;
Token 花在哪不好统计;
高阶模型谁能用、谁不能用也不好管;
想切模型或者统一调用入口,也会变得很麻烦。
我们在 ZGI 里做了一个 Model Gateway ,想把多模型接入、调用、权限、Token 统计这些放在一起处理。
但说实话,这块我们也还在持续优化,所以很想听听大家真实的使用经验。
想请教几个问题:
你们现在是怎么管理多个模型的?
API Key 一般放在哪里?
Token 成本会做统计吗?
团队里会限制谁能用 GPT / Claude 这类高阶模型吗?
有没有遇到过模型切换、账单归因、权限管理方面的坑?
如果你也在做 ...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX