Tech
[程序员] 做了一个纯视觉路线的解析功能,不知道有没有搞头?
现在的 agent 解析文件,大都是先把文档解析成文字,再让 Agent 阅读解析结果。就像 PAGE-INDEX 、MinerU 等方案一样,走的都是这条路。 但在实际处理各类手册、方案、研报、图纸和复杂表格时,我发现了一个 bug:它的解析不是 100%准确的,尤其是面对复杂的扫描件、又宽又密的表格、千奇百怪的排版、还有各种零碎的印章、批注、图片和跨页内容等,再好的解析方法也一定会出错。而一旦出错,这些错误会持续停留在数据库(知识库)中被 Agent 反复消费。就算再怎么训练解析模型,对于真实的复杂场景来说,边际收益已经趋近于 0 。 这么说吧,现在主要的提取器都在想尽办法给文件画素描,那么就多少一定会失真。 所以,我搞了一条纯视觉页面理解驱动的路线:不再解析提取文本内容,而是理解-组织-标注页面,让 Agent 直接看到无损的原页面。相比素描,它是给文件拍照和写标注,是高度保真的。 具体操作就是:不再默认用重度提取把一页内容改写成文字替身,而是把原始页面作为最完整、最接近源文件的信息基准保留下来,再按照文档原生的章节、主题和内容关系,将页面组织成可以跨文档导航的层级图谱与...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX