Tech
[分享发现] 发现了一个面向 AI API 中转站的开源监控及专属网关管理系统: TokHub
原帖 https://x.com/yaojingang/status/2074127139306455492
原帖内容:
这是一个面向 AI API 中转站的开源监控及专属网关管理系统:TokHub
迭代了一个月,和 @ vista8 讨论后,我们决定开源给大家,欢迎下载本地部署,也可以直接使用
(文末附 GitHub 链接和 TokHub 网址)
核心做了几层能力:
1 、公开监控和通道详情
可以看已监测的 API 通道的状态、成功率、延迟、模型、价格和健康评分
2 、L1 / L2 / L3 分层探测
L1 看 DNS 、TCP 、TLS 、HTTP 连通性
L2 看 API Key 、模型列表和模型可用性
L3 直接做一次最小真实生成,用来判断“入口正常但模型实际不可用”的情况
3 、用户工作区和私有通道
用户可以收藏公开通道,也可以接入自己的 Endpoint 和 API Key
私有 Key 加密保存,按组织隔离,不把用户自己的上游暴露给平台后台
4 、一键生成个人专属网关
可以把多个平台通道和私有通道,聚合成个人专属网关,供自己的 Agent 或者...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX