Tech
[分享创造] 我做了一个可以直接在白板上和 AI 对话的开源项目, 真诚期待您的意见
演示:
大家好,最近自己瞎折腾了一个项目 PenEcho 。
我平时会做瞎折腾一点物理和数学,经常使用白板和手写笔。以前想让 AI 帮忙时,常常要先把半成品推导重新打成 prompt ,再解释符号、图形和上下文。整个过程挺麻烦,也很容易打断自己的思路。
所以我就想试试:现在的 AI ,尤其是 GPT-5.6-sol 、 Claude Opus 4.8 和 Fable5 ,到底能不能看懂我在白板上写的东西?
于是就做了这个项目。没想到最后的效果比预期好很多,AI 可以理解手写公式、图形和它们之间的空间关系,然后把回答放在画布旁边。
为了控制 token 和响应速度,我没有把整个大画布都发送给模型。画布逻辑上是 20,000 x 20,000 ,但只会保存有笔迹的 512 x 512 区域。
每次请求主要发送当前 viewport 、笔迹热点、图片和几何信息。一次典型的 low effort 请求大约包含几千个输入 token ,输出通常在 1,000 token 左右。
使用 API 时,费用一般是几美分。如果已经订阅了 Cla...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX