🌍 V2EX
[分享创造] 分享一些在 AI 解析中经常遇到的问题,以及应对思路吧
之前我分享了一个自己做的小项目,已经在 Github 上拿下 2000 star 了,评论区有人说,觉得我做的东西跟 MinerU 好像啊,是不是在重复造轮子? 我觉得还是不太一样的,今天来分享一下使用场景和区别。 首先叠个甲啊,MinerU 确实是一个很优秀的文档解析工具,它能把 PDF 里的文字、标题、表格、图片等内容提取出来,并转换成 Markdown 。 但问题在于:解析成 Markdown ,并不等于文档已经能被 Agent 理解。 你拿到一份 Markdown 后,通常还要: 把它切成 Chunk ,扔进向量库,然后让 Agent 或 RAG 系统去检索。 听起来很顺,但真正做过的人都知道,坑就在这里。 一份复杂 PDF 原本有章节、有层级、有表格、有图片、有跨页引用。解析成 Markdown 之后,这些结构信息会变弱;再经过切片,每个 Chunk 更像是被切下来的孤立文本片段。 它可能不知道自己属于哪一章,前后文是什么,旁边那张表格在说明什么,相关图片和正文是什么关系。 于是 Agent 检索时,拿到的只是几个“看起来相似”的片段。它不知道"第 3 章第...