推出Together Rerank API及专属Salesforce访问权限

一. Together Rerank API 与 LlamaRank 重磅发布

今天我们很高兴宣布两项重大进展，为企业搜索和检索增强生成（RAG）系统开发者带来全新体验：全新的无服务器 Together Rerank API 和独家访问 LlamaRank。

LlamaRank 是由 Salesforce AI Research 开发的前沿重排序模型，其性能已超越其他主流模型，如 Cohere Rerank v3 和 Mistral-7B QLM。这一合作为开发者提供先进文档排序能力，显著提升 RAG 与传统搜索系统的信息检索准确性与效率。

作为 LlamaRank 的独家首发合作伙伴，Together 平台为企业提供开源与专有模型的灵活管理，涵盖从训练调优到推理部署的生成式 AI 生命周期管理，并在确保模型所有权和数据安全的前提下，实现最佳性能和成本效益。

二. Together Rerank API 与 LlamaRank 的核心功能

全新 Together Rerank API：无服务器端点，几行代码即可集成重排序模型到企业应用。
独家访问 LlamaRank：由 Salesforce AI Research 开发，性能优于 Cohere Rerank 等主流模型。
增强搜索相关性：过滤 RAG 过程中的不相关文档，提升搜索结果精度并降低成本。
长文档支持：处理最长 8,000 token 的文档。
半结构化数据支持：可搜索 JSON、电子邮件、表格和代码等数据。

三. 什么是重排序模型？

重排序器是一种专用模型，用于根据文档与查询的相关性重新评估和排序文档集，从而提升搜索结果的精度。它接收查询和文本输入（文档），返回每个文档的相关性分数。

1. 示例场景

在技术支持场景中，用户查询：“如何在管理面板重置密码？” 初始搜索可能返回：

文档 1："要在管理面板更改用户名，请转到‘设置’并选择‘编辑个人资料’。"

重排序器重新评估后返回：

文档 4 – 相关性分数：0.95
"在管理面板重置密码：1) 登录管理面板 2) 进入‘账户设置’ 3) 点击‘更改密码’ 4) 输入当前密码和新密码两次 5) 点击‘保存更改’。"

此示例显示，重排序器准确识别最相关文档，帮助用户快速获取所需信息。

四. 重排序如何改进搜索和 RAG

重排序器是现代搜索和 RAG 系统的重要组件，位于初始检索和最终生成阶段之间，对初始检索结果进行二次排序，提升输入语言模型的信息质量。

RAG 流程中的重排序器

通过提高相关性，重排序器不仅提升搜索精度，还减少 AI 生成回答中的幻觉现象，尤其在处理大量不同格式数据时，对企业决策至关重要。

1. 主要用例

a. 更高质量的搜索结果

作为二次质量过滤器提升搜索结果相关性。
电商场景：根据用户偏好、热度和搜索词相关性重新排序商品，提升用户体验和转化率。

b. 更相关高效的企业 RAG 系统

在 RAG 系统中添加重排序器，提高结果相关性，同时降低处理不相关文档的成本。
典型应用：
- 企业 RAG 系统：改进内部文档信息检索
- 知识库搜索：增强公司 Wiki 与文档功能
- 客户支持搜索：快速匹配查询与解决方案
- 代码搜索：高效定位相关代码片段或文档

五. Salesforce LlamaRank：精准企业重排序模型

LlamaRank 是 Salesforce AI Research 开发的先进重排序模型，适用于常规文档和代码排序，在多个领域性能优于 Cohere Rerank v3 和 Mistral-7B QLM。

1. 核心特点

基于 Llama3-8B-Instruct 微调：训练数据包括合成数据和内部标注数据
支持 8K token 文档长度：全面分析文档内容
线性分数校准：生成线性且可解释的文档相关性分数

2. 评估结果

在公共数据集上的表现卓越：

SQuAD：基于 Wikipedia 的问答数据集
TriviaQA：网络通用数据的 trivia 问答集
Neural Code Search (NCS)：Facebook 整理的代码搜索数据集
TrailheadQA：Trailhead 文档及测验问题集合

六. Together Rerank API 的功能亮点

Together Rerank API 提供无缝 RAG 应用构建体验，核心功能包括：

支持 Salesforce 的 LlamaRank 模型
支持 JSON 与表格数据
每文档可处理 8K token 上下文
低延迟查询
与 Cohere Rerank API 完全兼容

1. Cohere Rerank API 兼容性

若已基于 Cohere Rerank API 构建应用，仅需更新 API 密钥、模型与 URL，即可快速测试 Together Rerank API。

2. 搜索半结构化数据

支持 JSON 半结构化数据搜索，可直接从 Elasticsearch 或 MongoDB 传递文档
通过 rank fields 控制模型排序字段及顺序

a. 示例请求

{
  "query": "如何重置密码",
  "documents": [
    {"subject": "密码重置", "body": "请点击以下链接重置密码..."},
    {"subject": "账户安全", "body": "如何保护您的账户安全..."}
  ]
}

七. 总结

Together Rerank API 与 LlamaRank 的推出标志着企业搜索和 RAG 系统的里程碑。通过无缝集成先进重排序模型，企业可提升搜索相关性与效率，同时降低生成式 AI 成本。未来，Together 平台将支持更多重排序模型，为构建高效企业搜索解决方案提供更多可能性。

原文链接: https://www.together.ai/blog/together-rerank-api-and-salesforce-llamarank