主要场景 私有化大模型产品，用的大模型也是私有化部署 对网关的基础功能需求： 模型的负载均衡 模型切换时能够平滑切换 管理模型的 APIKEY LLM ，embedding ，rerank 都支持 各种模型的各种来源的使用统计 加分项： 比较轻量，资源占用少 负载均衡的时候能够兼顾 KV cache 能够做提示词的审计或者黑名单 能够区分提示词的业务（比如通过关键词），针对业务进行统计 看到有不少做大模型网关的，我没具体用过 求助有用过的推荐推荐