Tech
[分享创造] 做了一条新的纯视觉解析路线用来识别图像类资料,有做金融或工程的老哥要试试吗?
在 agent 开发和实际落地的时候,经常会遇到一类问题:像金融、工程等行业,他们有很多资料是以图像的形式呈现的,比如设计规范、图纸、施工图集和报表,如果纯纯把它当成纯文字解析,那效果是不好的,有很多信息和关联都会丢失,影响后面模型的回复质量。但是要把它们丢掉,那更不现实,因为这些资料十分重要,很多是要当做原始证据保存的。 所以,我就在我们的解析工具 Knowhere 里加了一条纯视觉理解路线——VISION-MAP ,专门用来处理这方面的问题。 VISION-MAP 是这样工作的: 第一步,保留源文件和页面标注。 文档进入 Knowhere 后,原始文件不会因为解析而被一份 Markdown 取代。每一页还会按原始样子存储,但其核心内容和图表资产已被理解和标准,页面里的文字、表格线、图片、印章和相对位置都在,为后面的回溯和审计留下了完整入口。注意,我们保留的是页面注释,不是把文件页面作为图片再存一次。 第二步,建立地图。 只有一堆页面还不够。一本几百页的文件,如果没有结构,Agent 还是只能从头翻到尾。 VISION-MAP 会按照文档的章节关系组织页面,形成“章—节...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX