介绍Vectara的自定义提示引擎

今天，我们非常高兴地宣布，Vectara推出了一项全新功能：自定义检索增强生成（RAG）提示引擎。这一功能能够直接将检索到的文档及其元数据整合到生成内容中。虽然这一概念听起来可能稍显抽象，但它的强大之处在于支持广泛的应用场景。在本文中，我们将通过具体示例展示其实际应用效果。在深入探讨其工作原理之前，先让我们来看几个典型的用例，感受它的强大功能。

自定义提示引擎的典型应用场景

1. 自动化RFI和RFP问卷填写

大多数企业软件公司都会收到RFI（信息需求）或RFP（提案需求）等安全和合规问卷。销售、安全和合规团队通常需要花费大量时间填写这些表格，主要原因是问题的表述方式各不相同。例如，“贵公司有哪些合规认证？”和“贵公司是否有SOC 2认证？”虽然本质上是同一个问题，但答案可能分别是“SOC 2 Type 2”和“是”。尽管LLM（大语言模型）在回答这些问题方面表现出色，但它们无法直接访问企业的内部数据。

通过Vectara的RAG系统，企业可以根据之前在其他RFI或RFP中提供的答案，自动生成这些问卷的答案，从而大幅提高效率。

2. 将用户反馈转化为开发任务

如果您的支持系统或用户论坛中已经积累了大量用户反馈，将这些反馈转化为开发团队可操作的任务可能会耗费大量时间。借助自定义提示功能，您只需点击几下，Vectara便可完成以下操作：

搜索相关文档；
根据最常见的问题或请求，为您起草Jira工单或GitHub问题。

这一功能不仅自动化了繁琐的人工操作，还能提高任务描述的质量，从而进一步优化团队间的沟通效率。

3. 自动生成Markdown格式内容

是否曾经为编辑Markdown格式的摘要而烦恼？或者在深夜尝试添加格式规则？现在，您可以完全摆脱这些麻烦。通过自定义提示功能，Vectara的LLM可以为您生成完美的Markdown格式内容，让您的工作更加轻松高效。

自定义提示引擎的核心优势

将高质量的检索（RAG中的“R”）与能够封装检索中相关数据的提示结合起来，对于许多用户来说是一个挑战。而Vectara的自定义提示引擎正是为了解决这一问题。我们坚信，构建LLM应用程序的核心在于使用您的数据，帮助您解决您的具体用例。

如何在Vectara中使用自定义提示

接下来，我们将通过一个具体示例，展示如何利用自定义提示功能实现RFI应答机器人。

提示模板的分解

以下是一个较长的提示模板，我们将其分解为几个部分进行说明：

通用提示工程
首先，我们需要告诉生成的LLM如何回答RFI问题，并明确查询结果的返回方式。随后，我们可以为其提供一些具体说明，例如如何处理回复日期的偏差。
插入检索结果
使用模板中的变量$vectaraQueryResults，可以按照任意顺序插入检索结果。通过qResult.getText()，可以提取最相关的文本片段，用于回答查询问题。此外，您还可以根据业务规则截断或省略结果。例如：
- 优先处理较早显示的结果；
- 引用特定的元数据（如问题的回答日期）。
模板语言的灵活性
模板语言允许您引用结果文本中的相关片段，并提供一些实用函数（如基于单词的索引：“first”、“second”、“third”等）。这些功能可以帮助LLM更好地理解检索结果。整个矢量化、检索和响应生成的过程可以通过单个API请求完成，无需多次往返或重写查询。

实际操作示例

在完成上述设置后，您可以通过以下步骤实现自动化RFI应答：

上传问卷知识库
将之前的RFI回复上传到一个便于访问的知识库中，例如Google表格。
运行模板
使用VectaraRFIAnswer()函数调用知识库中的数据，并根据提示模板生成答案。
模拟不同的RFI问题
通过重新表述问题，Vectara可以生成更具体的答案，而不仅仅是复制粘贴之前的内容。例如：

无限的可能性

通过Vectara的自定义提示引擎，您可以为完全自定义的工作流、集成和操作提供强大的支持。无论是自动化问卷填写、优化团队协作，还是生成格式化内容，这一功能都能显著提升您的工作效率。

有关自定义提示的更多文档以及如何在Vectara中使用它们，请参考我们的官方文档。

原文链接: https://www.vectara.com/blog/introducing-vectaras-custom-prompt-engine

介绍Vectara的自定义提示引擎