Proxy-Pointer RAG：以向量 RAG 的规模和成本实现“无向量”检索的准确性

📌 一句话摘要

Proxy-Pointer RAG 是一种新颖的架构，它通过使用基于正则表达式的骨架树、面包屑注入和元数据指针，将分层“无向量”检索的结构准确性与标准向量 RAG 的可扩展性和低成本结合了起来。

📝 详细摘要

本文介绍了 Proxy-Pointer RAG，这是一种旨在解决基于推理的检索（如 PageIndex）的高准确性与向量数据库的效率之间权衡的工程方法。虽然 PageIndex 使用昂贵的 LLM 调用来构建和导航文档树，但 Proxy-Pointer RAG 使用正则表达式来构建“骨架树”，并将结构化的“面包屑”注入到嵌入中。这使得向量搜索具有结构感知能力。关键在于，它仅将检索到的数据块用作指向完整、连续文档部分的代理，确保 LLM 接收到高质量、不间断的上下文，而无需多步 LLM 推理的延迟或成本。

💡 主要观点

- 无向量 RAG (PageIndex) 提供了卓越的准确性，但由于高昂的 LLM 成本而无法扩展。 PageIndex 需要为文档树中的每个节点生成 LLM 摘要，并在检索时进行额外的 LLM 推理步骤，这使得它对于大规模企业知识库来说不切实际。

Proxy-Pointer RAG 通过面包屑注入将文档结构直接编码到向量空间中。 通过在嵌入之前将分层路径（例如：章 > 节 > 小节）预置到数据块中，向量数据库无需基于 LLM 的摘要即可获得结构感知能力。

检索到的数据块充当代理，用于提取完整、连续的文档部分。 系统不向 LLM 提供碎片化的数据块，而是使用元数据指针（起始/结束行）来检索整个原始部分，从而保持上下文的完整性并减少幻觉。

结构引导的分块和噪声过滤消除了常见的 RAG 失败模式。 严格在章节边界内进行分块可以防止上下文碎片化，而过滤掉目录等“噪声”部分则可以防止检索干扰。

💬 文章金句

- 你不需要 LLM 摘要来赋予向量数据库结构感知能力。你只需要将结构编码到嵌入本身即可。

向量是位置的代理，元数据是指向真实内容的指针。
Proxy-Pointer 是内置了智能元数据的标准向量 RAG。
该系统可以优雅地降级为标准向量 RAG——无需错误处理，无需特殊操作。

📊 文章信息

AI 评分：90

来源：Towards Data Science

作者：Partha Sarkar

分类：人工智能

语言：英文

阅读时间：19 分钟

字数：4578

标签： RAG, 向量数据库, PageIndex, 信息检索, LLM

阅读完整文章

Proxy-Pointer RAG：以向量 RAG 的规模和成本实现“无向量”检索的准确性

🤖 問 AI