DeepSeek技术报告解析：为什么DeepSeek-R1 可以用低成本训练出高效的模型

DeepSeek-R1 通过创新的训练策略实现了显著的成本降低，同时保持了卓越的模型性能。本文将详细分析其核心训练方法。

成本优势对比

在推理成本方面，DeepSeek-R1 展现出显著优势：

输入 tokens : $0.55/百万 tokens
输出 tokens : $2.19/百万 tokens

相比之下，O1 的推理成本：

输入 tokens : $15.00/百万 tokens
输出 tokens : $60.00/百万 tokens

核心训练策略

DeepSeek 团队采用了一种独特的训练方案，通过减少监督微调（SFT）步骤来降低训练成本。他们首先尝试完全跳过 SFT，推出了名为 DeepSeek-R1-Zero 的版本，仅依赖强化学习（RL）技术。虽然这种方法在初期带来了较高的计算开销（因为模型需要更多探索），但研究人员发现添加少量冷启动数据可以显著提升训练稳定性和模型推理能力。

RLHF 工作原理

在深入了解DeepSeek-R1 的训练方法之前，我们需要理解 RLHF（基于人类反馈的强化学习）的基本工作原理：

数据收集： 首先，团队创建提示并收集人类对这些提示的响应。
监督微调（SFT）： 研究人员使用预训练的语言模型并在人类生成的数据上进行微调。模型响应与人类编写的参考进行比较，并根据匹配程度分配分数。
构建奖励模型： 人类评估者对模型的回复进行评分，选择最自然或正确的回复。这些评分用于训练一个独立的”奖励模型”。
策略优化： 主要语言模型从奖励模型获得反馈，并调整其生成文本的策略。通过多次迭代，模型逐渐适应人类期望。

三大关键训练方法

1、创新的策略优化算法（GRPO）

DeepSeek-R1采用组相对策略优化（GRPO）替代传统的近端策略优化（PPO）。PPO 在 RLHF 过程中的具体工作流程包括：

样本收集：生成响应并收集其相关状态和估计奖励的数据
优势估计：计算每个响应的”优势”，确定响应相对于平均水平的好坏程度
策略更新：使用 PPO 的目标函数调整语言模型的策略以最大化预期奖励
剪辑机制：通过 PPO 的剪辑机制防止策略发生剧变，确保稳定学习

相比之下，GRPO 通过以下创新实现了更高效的训练：

GRPO 的主要优势：

无需单独的价值模型
采用基于组的相对优势估计
显著降低内存和计算开销
增强了模型的数学推理能力

PPO 和 GRPO 的比较

2、高效的双重奖励系统

DeepSeek-R1-Zero 实施了一个精心设计的基于规则的奖励系统，包含两个核心组件：

准确性奖励：

针对数学问题等确定性任务
要求模型在特定格式中提供答案
支持自动化验证答案正确性
对于编程问题可利用编译器进行验证

格式奖励：

引导模型使用标准化的思考过程格式
要求将推理过程放在'<think>’和'</think>’标签之间
提高输出的结构化程度和可解释性

3、模板化 RLHF 训练

团队开发了一个简洁而有效的训练模板，具有以下特点：

提供清晰的推理过程生成指南
强调结构化输出格式
避免引入特定内容偏见
便于观察和评估模型的学习进展

训练成果与突破

训练中的关键发现：

零监督突破： DeepSeek-R1-Zero 成功证明无需传统的监督微调数据也能实现强大推理能力。通过多数投票机制，性能甚至超越了 OpenAI-o1。
自适应思考： 在训练过程中观察到一个有趣的现象 – 模型学会了在必要时重新评估其初始方法并分配更多思考时间。这种自适应能力展示了强化学习带来的意外收益。
效率提升： 通过 GRPO 和高效奖励系统的结合，模型在保持性能的同时显著降低了计算资源消耗。

这些发现不仅验证了 DeepSeek 团队的创新训练方法的有效性，也为未来大语言模型的开发提供了重要参考。