从今年 4 月份我就想做一款通用极简的桌面端+语音 AI 助手,专注于 browser use 和 computer use 两个方向,因为个人的技术积累有限,就决定率先从相对简单一点的 browser agent 能力入手。 项目的 agent 部分大量参考了 Hermes agent 、open claw 的代码实现,操作浏览器这块主要通过 cdp 。因为桌面端使用的是跨平台方案 Electron ,所以使用体验上跟原生浏览器差非常多。 关于交互方式是我最最纠结的,至今为止也是。我一直崇尚 human in the loop ,一个好的框架是帮助用户解决绝大多数问题,但是关键节点是应该允许用户参与其中的,比如下单、付款、方案选择、偏好问卷收集。现在开源社区有很多类型的 browser agent ,体验上我个人不是特别喜欢,也无法满足我说的人参与循环。Electron 上能满足我开发需要的只有 webcontnetview ,交互上也能勉强达到及格。也正是因为这个方案,内存方面优化空间也有限。 前期困扰我比较大的问题就是 token 消耗,browser agent 的...