Tech
[Local LLM] [开源自荐] ModelMoor:把本地/远程模型、商业 API 和订阅账户收进一个本地地址
最近在 Mac 上同时使用自托管模型和几个云端 API ,经常要在不同客户端里反复改 Base URL 、模型名和 API key 。远程机器上的 vLLM 、SGLang 、Ollama 还要单独维护 SSH 端口转发。于是我做了 ModelMoor ,现在把它开源出来。
ModelMoor 是一个原生 macOS 菜单栏应用,也带 CLI 。它可以把 SSH 后面的 OpenAI-compatible API 转发到 Mac ,再把远程模型、直接连接的商业 API ,以及 ChatGPT/Codex 、Claude Code 、Kimi 、Grok 等订阅账户中选定的模型,统一放到一个本地地址:
http://127.0.0.1:17777/v1
客户端只需要保存一个 Base URL 和一个 ModelMoor API key 。每个公开模型名会固定路由到指定的上游模型,对应凭据分别保存在 macOS Keychain 。它不会自动切换模型、负载均衡或重试付费请求,路由关系是显式的。
目前主要解决三个场景:
用 ssh -L 把 DGX 、GPU...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX