Tech
[程序员] 先编译再检索:一个不用 embedding 的开源知识库
市面上大多数「知识库问答」工具的套路都差不多:把文档切块、算 embedding 、塞进向量库,提问时按相似度召回若干碎片喂给 LLM 。KaaS 做了两个和主流不太一样的选择:
先编译再检索 :不直接对原始碎片做 RAG 。先用 LLM 把散乱内容编译成一篇篇结构化的 Markdown Wiki 文章,再在这上面做检索。
不用 embedding :检索阶段没有向量库、没有相似度计算。文章目录直接喂给 LLM ,让它像人翻目录一样选页、读全文。
这篇讲整套系统的骨架和几个关键取舍,单个机制的细节留给后续文章。
解决什么问题
KaaS 最初是我们内部的一个工具。知识散落在文档、会议、邮件里,每当有人转岗或离开,他积累的上下文就跟着走了,接手的人要花几周重新拼凑。
我们要的是让散乱输入沉淀成可读、可编辑、能长期演进的知识资产:人能直接打开读的 Markdown ,而不是黑盒向量库。这也定了架构的走向:编译质量第一,检索只是编译产物之上的一层薄导航。
带来了什么价值
对使用者来说,KaaS 的价值集中在几点:
散乱...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX