Tech
[分享创造] 在浏览器里跑本地大模型,我写了个 45M 参数的 Agent 插件(离线 / 免 API Key)
看 Needle 2 的文章时手痒,直接把模型编成 WASM 塞进了 Chrome 扩展里,做了个能在浏览器里本地跑的大模型 Agent 。
欸,啪,插件就做好了,很快啊! WASM 一编、模型一塞、浏览器一装,离线就能跑,全程不用 API key 。
它大概能干什么:
自然语言控制浏览器:说 "Go to google.com and search for AI news"、"Open youtube.com in a new tab",它会自己调用工具(目前模型仅支持英文)
内置 18 个浏览器工具:读页面、点击、填表、标签页管理、书签、下载、截图、通知、HTTP 、自定义脚本
每次工具调用带置信度评分,形成 agent 循环(最多 8 步)
内置可视化编辑器,可以自己写 JS 工具函数给模型用
技术栈:
45M 参数模型( Cactus Compute Needle 2 ),C++ → Emscripten → WebAssembly
模型权重打包在插件里(~13MB ),运行时 ~28MB 内存
纯 vanil...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX