Tech
[分享创造] 搞了大半年的文档解析引擎,现在终于开源了——专治 AI 幻觉,欢迎老铁们来试试
之前 4 月中旬的时候我发过一个帖子,说我做了一个叫 Knowhere 的文档解析插件,专治非结构化数据。当时有老哥问后台用的是什么服务,我说准备开源出去,后面可以关注一下。
现在,它来了。
仓库在这里: https://github.com/Ontos-AI/knowhere
先说说我为什么做这个东西。
做 AI 应用开发的兄弟应该都有同感——模型越来越强了,但一碰到复杂文档,还是容易崩。
比如你丢一份几十页的财报 PDF 进去,AI 要么开始胡编,要么直接说没有这个内容。这叫“AI 幻觉”。
最开始我也以为是模型不行,换了 Claude 换 GPT ,折腾了一圈发现问题根本不在这里。
根本上,喂给 AI 的原材料就是烂的。
现在市面上绝大多数文档解析工具,处理方式简单粗暴:按固定字数一刀切,把所有内容打碎成碎片。问题是文档里的信息是有层级、有关联、有上下文的一刀切进去,逻辑全断了。AI 拿到一堆碎片,只能靠猜。
更要命的是 PDF 里的多级表头、Excel 里的复杂行列关系、PPT 里的图文混排,传统方案基本束手无策。
强行切下去的结果就...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX