Prompt RAG 全解析：无需向量嵌入的检索增强生成方法及应用指南

Prompt RAG 是一种无需向量嵌入的检索增强生成（RAG）方法，旨在优化特定领域的大型语言模型（LLM）的性能。与传统 RAG 方法相比，Prompt RAG 通过直接利用文档目录（ToC）进行上下文检索和生成，避免了对数据分块和向量化的需求，从而简化了实现过程。

什么是 Prompt RAG？

Prompt RAG 是一种类似于传统 RAG 的方法，但其独特之处在于无需使用向量数据库或嵌入技术。传统 RAG 的工作流程包括以下步骤：

将输入查询转化为向量嵌入。
使用嵌入在向量化数据库中检索相关数据。
利用检索到的数据生成上下文相关的响应。

相比之下，Prompt RAG 直接通过文档目录（ToC）检索相关内容，并将其作为上下文注入到提示中，从而生成响应。此方法不仅简化了实现流程，还能有效减少对复杂数据管理框架的依赖。

Prompt RAG 的工作流程

1. 预处理

在 Prompt RAG 中，第一步是创建文档目录（ToC）。目录的生成方式包括以下几种：

使用文档作者提供的目录。
手动创建目录。
在文档结构清晰的情况下，利用 LLM 自动生成目录。

通过删除页眉、页脚和页码等无关元素，可以减少文档的令牌大小，从而优化 LLM 的上下文窗口利用率。

2. 标题选择

Prompt RAG 的提示包含用户查询和文档目录（ToC）。LLM 会根据提示从目录中选择与查询最相关的标题。优化提示的设计对于提高检索准确性和令牌使用效率至关重要。

以下是一个用于选择标题的提示示例：

Current context: {history}

Question: {question}Table of Contents: {index}Each heading (or line) in the table of contents above represents a fraction
in a document. Select the five headings that help the best to find out the
information for the question. List the headings in the order of importance
and in the format of
'1. ---
 2. ---
 ---
 5. ---'.Don't say anything other than the format.If the question is about greetings or casual talks, just say
'Disregard the reference.'

3. 文档部分检索与注入

根据选定的标题，Prompt RAG 会提取相应的文档部分，并将其作为上下文注入到提示中。注入的内容大小必须小于 LLM 的上下文窗口限制。为满足这一要求，可以对内容进行总结、截断或其他形式的优化。

以下是生成答案的提示示例：

Answer in {Language of Choice}:

Here is a record of previous conversations:



{history}



Reference: {context}



Question: {question}



Use the reference to answer the question.



The reference above is only fractions of ''.



Be informative, gentle, and formal.



If you can't answer the question with the reference, just say like

'I couldn't find the right answer this time'.



Answer in {Language of Choice}:

Prompt RAG 的优势与局限

优势

无需向量嵌入：避免了复杂的向量化处理，简化了实现过程。
适合小规模实现：特别适用于技术复杂度较低的应用场景，以及支持少数民族语言的任务。
灵活性高：能够通过提示工程快速调整和优化。

局限

需要数据设计：尽管无需向量化，Prompt RAG 仍需对数据进行一定程度的设计和管理。
上下文窗口限制：LLM 的上下文窗口大小对检索和生成的效果有直接影响。

传统 RAG 与 Prompt RAG 的对比

传统 RAG 的优势

扩展性强：传统 RAG 在大规模数据处理和复杂实现中表现更优。
成熟的技术生态：基于向量嵌入的检索技术已经较为成熟，适用于多种场景。

传统 RAG 的缺点

数据分块复杂：需要优化文档块的大小，并管理块之间的重叠。
实现成本高：对硬件和计算资源的需求较高。

Prompt RAG 的独特价值

Prompt RAG 的研究为无向量化检索提供了一种创新思路，即使在某些场景中无法单独使用，其方法仍可作为更大实现框架中的一个子集。通过优化提示工程，Prompt RAG 能够在无需复杂数据管理的情况下实现高效的检索和生成。

总结

Prompt RAG 通过创新的无向量化方法，为检索增强生成（RAG）提供了新的实现路径。尽管其在扩展性和复杂场景中的表现不如传统 RAG，但在小规模实现和特定领域优化中具有显著优势。未来，Prompt RAG 的发展可能需要结合应用框架，以更好地管理数据流和优化提示工程，从而进一步提升其实用性。

原文链接: https://blog.kore.ai/cobus-greyling/prompt-rag-vector-embedding-free-retrieval-augmented-generation