Tech
[程序员] [开源推荐] Ante,一个以单个二进制文件形式运行的离线编码代理
开源: https://github.com/AntigmaLabs/ante (欢迎感兴趣的朋友点颗 star⭐️) Ante 是一款编码代理,它以一个独立的 15MB 二进制文件的形式发布:TUI 、嵌入式 ripgrep 、本地 PDF/OCR 以及原生管理的 llama.cpp 引擎都包含在内。没有运行时依赖项,没有 node_modules ,也不需要帐户。 Ante 会安装一个经过校验和验证的、与您的机器匹配的官方 llama.cpp 构建版本( Apple Silicon 上为 Metal ; Linux 上为 CUDA 、Vulkan 或 CPU ),并在版本更新时自动进行升级。- 它会发现磁盘上已有的 GGUF 文件(~/.ante/models 、llama.cpp 和 Hugging Face 缓存),连接到本地端口上已运行的 llama 服务器,并在加载任何内容之前,根据模型大小和上下文窗口估算 RAM/VRAM 。- `ante --offline-model /path/to/model.gguf "prompt"` 命令会启动服务器、运行会话并关闭...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX