复刻 DeepSeek 的传说，还在链接。

之前，UC 伯克利的博士只用 30 好意思元，就复刻了 DeepSeek 中的顿悟时刻，畏缩圈内。

这一次，来自荷兰阿姆斯特丹的磋议东说念主员 Raz，再次冲破记录，把复刻本钱降到了史上最低——

只消 10 好意思元，就能复现 DeepSeek 顿悟时刻！

Raz 本东说念主也暗意，我方惊诧极了。

即使是一个十分苟简的强化学习诞生，并莫得太多 RL 算法的复杂性（比如 PPO、TRPO、GRPO 等），也能在有限的筹谋资源下产生裸露的终结。

在具体蓄意流程中，他特地商酌强化学习中 LLM 中的应用和传统强化学习问题（如机器东说念主、Atari 游戏等）在状况空间和动作空间的不同。

因此，Raz 采选从十分苟简的 RL 算法—— Reinforce-Lite 动手。

收受轻量级强化学习算法—— Reinforce-Lite 生成的推理流程之一。咱们将一步步看到，端到端的强化学习微调模子如何弘扬出智能、回溯、自我反想、逻辑推理等迹象

终结，令东说念主出乎意象的事情发生了：只用不到 10 好意思元的本钱，他就在一个 3B 模子上复刻了 DeepSeek 的顿悟时刻。

实在就像是这个 3B 模子本人就具备了作念出惊东说念主事情的后劲，咱们需要的，仅仅通过正确的模样赋予它一定的自主性良友。

接下来，让咱们看一下 Raz 的博客，感受一下此次超经济实惠的 AI 推理，是若何突破的。

复刻 DeepSeek 顿悟时刻，只用不到 10 好意思元

咱们能否在筹谋资源有限（唯一 48GB RTX6000 显卡和 10 好意思元）的情况下，让一个 3B 模子具备回溯、自我反想、逻辑推理等推理才能？

磋议东说念主员揣度，通过强化学习也许能作念到。

强化学习是最刚劲的学习算法之一，它一次又一次地为咱们带来令东说念主咋舌的终结。

DeepMind 的 AlphaGo、OpenAI 的 DOTA 2、MuJoCo 和 Atari 实验、LLM 的 RLHF 对皆，以及最近 DeepSeek 全面布局的 RL 技能，无比诠释注解它的刚劲威力。

关联词，由于 RL 有好多动态部分，一波及到稠密组件，强化学习就变得复杂了。

在此流程中，强化学习需要用心蓄意伏击元素，如合适的信用分派机制、演员 - 褒贬员的稳当超参数调和、强化学习算法类型（基于模子 / 无模子）等，这就导致了强化学习在更平凡的范围内应用受限。

要是在 LLM 环境中使用强化学习，可能波及的模子不错多达 5 个：

计谋模子：正在推行的模子

旧计谋模子：用于筹谋替代认识

参考模子：用于筹谋 KL 散度（KL-divergence）

奖励模子：用于学习奖励函数

评判模子：用于筹谋价值函数

Reinforce-Lite：一个比 PPO 更苟简、更牢固且更高效的微调决议

3B 模子端到端强化学习推行的筹谋需求

由于波及稠密组件，不仅带来了筹谋背负，还带来了推行牢固性方面的复杂性和挑战。

因此，磋议东说念主员首先想考：能否从零首先再行构想整个这个词算法，记忆第一性旨趣？

他们的谜底即是——一个苟简的替代决议，Reinforce-Lite。

这种方法排斥了对替代认识比率和旧计谋模子的需求，通过单一计谋神经集聚来牢固推行流程，同期，还能为模子注入推理才能。

为此，咱们需要通晓的第一个问题即是——

使用替代认识比率（如 PPO/GRPO）是过度优化？

OpenAI vs DOTA 5v5：基于大界限强化学习推行

在 MuJoCo、Atari、Dota 等传统强化学习环境中，PPO 对每个批次进行屡次更新是至关伏击的，这是因为在这些环境中数据网罗本钱十分腾贵，而重叠使用样本不错提高样本效用。

关联词在 LLM 中，这种方法既无必要，又会带来渊博的筹谋支拨。

LLM 不错并行生成种种化的反应，当然酿成丰富的数据集，因此就无需重叠更新。

整个反应都不错使用相通的计谋集聚生成，一朝在序列生成终结时得到奖励，就不错进行梯度反向传播。

此外，在文本生成这么的高维动作空间中，每个 batch 屡次更新可能导致过拟合，而非有酷爱的计谋更正。

相背，要是每个 batch 单次更新，再纠合分组归一化等技能，就不错在显贵裁减筹谋本钱的同期，保抓推行牢固性。

商酌到 LLM 推行本人就需要大都资源，在不影响性能的前提下简化优化流程，显著是更有用的采选。

从技能角度来看，这也排斥了为筹谋替代认识比率而保留旧计谋模子的需求。

LLM 强化学习与经典强化学习的区别

总之，在这个算法中——

移除 KL 散度，不需要参考模子 ❌ ——改用梯度剪辑。诚然不是自适合的方法，但能有用完成任务。

移除替代认识，不需要旧计谋模子 ❌

使用分组相对奖励进行上风筹谋（雷同 DeepSeek 的 GRPO 模样），不需要价值集聚 ❌

这么，咱们就得到了一个轻量级的强化学习算法。

通过以上简化，优化问题最终就记忆为经典的 Reinforce 算法——

Reinforce-Lite

在上风筹谋方面，磋议东说念主员收受分组相对计谋优化（GRPO）的归一化技能，将每个问题的 10 个回复终结看成一组，并通过其归一化方法来裁减梯度更新中的方差。

让咱们来望望它在 PyTorch 中的具体完结。

运革新一个经过指示微调的 LLM，并通过合适的教导词使其在 标签中包含推理行径。

为模子输出界说一个奖励函数（举例，在 GSM8K 基准中的正确率）。通过正则抒发式从标签中索求数值，并与数据集结的本体谜底进行比较。

通过平直筹谋联系于奖励的梯度来优化计谋，无需使用替代亏蚀函数。

收受分组相对归一化上风筹谋值，从而排斥对品评模子的依赖。收受 10 看成分组大小。

使用行径的对数概率梯度技巧对模子进行更新。

GSM8K 数据集

为了考证我方的假定，磋议东说念主员将使用 GSM8K，这是一个包含小学数知识题过甚谜底的 Grade School Math 8K 数据集，花样如下：

问题：Natalia 在 4 月份向她的 48 个一又友卖出了发卡，而在 5 月份她售卖的发卡数目是 4 月份的一半。Natalia 在 4 月和 5 月整个售卖了些许个发卡？

Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May?

谜底：Natalia 在 5 月售卖了 48/2 = 24 个发卡。Natalia 在 4 月和 5 月整个售卖了 48+24 = 72 个发卡。#### 72

Natalia sold 48/2 = 24 clips in May. Natalia sold 48+24 = 72 clips altogether in April and May. #### 72

诚然谜底中就包含了竣工的推理行径，但让磋议东说念主员感意思意思的，唯一 ### 后的最终谜底。

对此，磋议东说念主员勾通计谋模子，以花样输出了最终谜底，并用它来考证模子筹谋的谜底是否正确。

这更像是一个蒙特卡洛问题——在每个回合终结时，才能得到奖励。

奖励建模

磋议东说念主员把奖励机制蓄意得很苟大意懂，关于计谋模子：

谜底造作时，赐与负奖励 -1

谜底正确时，赐与正奖励 +1

推行诞生

接下来，磋议东说念主员使用 Reinforce-Lite 算法，在 RTX A6000 显卡上推行了 3B 模子，推行时代为 12 小时，并收受大小为 10 的分组。

在推行初期，不错不雅察到：模子抑止尝试加多输出序列 / 输出 token 的长度，但和会常遭遇内存溢出（OOM）问题，这就终结了模子尝试更长的推理流程，并从中有用学习。

奖励图表展示的是分组反应的平均得分。设想情况下，平均值越接近 1，暗意模子在大多数采样反应中的准确率越高。

在此次实验中，磋议东说念主员只推行了数百次迭代，不错不雅察到当计谋模子尝试不同计谋时，得分会出现一定波动。

这种波动不错通过熵正则化来均衡探索与利用之间的关系，这是他们当年探索的一个标的。

对比测试 Reinforce-Lite 和 Instruct 模子

磋议在 GSM8K 数据集上评估了 Reinforce-Lite，发当今有限推行时代内，Reinforce-Lite 比较指示模子在得分上完结了小幅提高。

具体来说，Meta Llama 3.2 模子提高了 2.0％（从 70.5 提高至 72.5），而在 FP16 花样下运行的 Phi 3.5 Instruct 则提高了 0.6％（从 83.4 提高至 84.0）。

推理轨迹分析

不雅察一些推理轨迹后不错发现，经过 Reinforce-Lite 微调的模子展现出了多种推理才能，包括：

逻辑想维

搜索计谋

终结考证

通过表格进行中间筹谋

试错方法等

督察！这些推理轨迹，在通例的指示模子中均未不雅察到。

比如鄙人图中，模子展现出了基本的数学推理才能。它省略通过代数抒发式建造问题，并通过解方程来求解。

流程中，它能识别出分歧理的解，在原决议不可行时采选调和惩办决议，最终还能通过比较不同采选的本钱，来作念出最优决策。

在这说念题中，模子弘扬出的处理包含条目推理和纠错的才能，也令东说念主印象深切。

它领先设定了问题布景，筹谋派对首先时的总东说念主数。然后字据已知条目（整个 40 东说念主，1/4 东说念主离开），筹谋出有 10 东说念主离开派对。

关联词，在筹谋离开的女性东说念主数时，模子真实得出了一个负数，它意志到了我方的推理中，一定出现了逻辑造作。

为此，它再行注视了情况，修正了我方的推理，正确筹谋出派对上剩下了 8 名女性，从而得出正确谜底。

这说念题中，模子设定运转绷带数目为 x，字据给定条目将绷带数目的变化膺惩为代数方程，但解出的方程终结是 x=-6。

它意志到我方的造作后，追溯了之前的行径，识别出我方在筹谋第三天的绷带使用量时犯了错。修正方程后，它再行筹谋出了正确终结。

整个这个词流程中，它展现出了较强的自我纠错和逻辑推理才能，能在复杂筹谋流程中发现并修正问题。

重要重心总结

总结来说，这项磋议主要有以下发现。

结构化推理才能提高

从生成的序列中不错不雅察到，经过 RL 微调的模子在评估得分上完结了小幅提高。

简化算法复杂度，无需 PPO 的复杂性

磋议标明，对 LLM 进行微调只需要一个计谋集聚即可，无需收受 PPO 的复杂机制。

优化筹谋效用

Reinforce-Lite 看成一个筹谋友好型算法，撑抓端到端的 RL 推行，同期显贵裁减了推行复杂度。

增强模子自主性

算法见效地赋予了 LLM 自主才能，让模子和会过尝试不同计谋来获取奖励。

更长的推理回合，需要更多内存

跟着推行的进行，不错发现模子倾向于进行更长的推理流程，但在使用 48GB GPU 推行 3GB 模子（FP16）时，要是杰出 1024 个 token，就会频繁出现内存溢出问题。

在莫得 KL 散度的情况下确保牢固性

磋议东说念主员发现，使用苟简的梯度剪辑就能有用替代 KL 散度筹谋，这是一种高效的替代决议，用于督察计谋偏离。在整个这个词推行流程中，模子计谋保抓牢固，未出现剧烈波动。

DeepSeek-R1 启发，7B 模子完结高等推理技巧

巧的是，最近来自微软亚洲磋议院的一项就业，也诠释注解了 RL 的渊博后劲——通过有用且牢固的 RL 推行后，一个 7B 模子，真实就发展出了反想、考证和总结的高等推理技巧！

而这些技巧，在逻辑语料库中是皆备缺失的。

受 DeepSeek-R1 见效的启发，磋议团队探索了基于递次的强化学习（RL）在大界限推理模子中的后劲。

为了分析推理机制，他们采选了具有可控复杂度和平直谜底考证模样的「合成逻辑谜题」看成推行数据。

在此流程中，团队取得了一些重要性的技能突破，并促成了有用且牢固的 RL 推行：

一个崇敬强调想考和回答流程的 system prompt

一个用于刑事职责取巧输出的严格花样奖励函数

一个能完结牢固拘谨的苟简推行决议

其中，推行框架收受 REINFORCE++ 算法和来自 DeepSeek-R1 的奖励蓄意进行后推行。

跟着 RL 推行的进行，不错不雅察到模子当然地分派更多的推行行径用于推理。这种筹谋膨大从生成数百个 token 膨大到数千个 token，使其省略更深入地探索和完善其想维流程。

终结自大，唯一 70 亿参数的 Qwen2.5-7B，在经过 5K 个逻辑问题的推行后，就发展出了一些在逻辑语料库华夏本不存在的高等推理技巧——如反想、考证和总结才能。

磋议中，纯熟模子的这说念逻辑题是这么的。

问题：一个十分特殊的岛屿上只住着骑士和骗子。骑士老是说实话，骗子老是说谎。你遭遇两位岛民：Zoey 和 Oliver。Zoey 说：「Oliver 不是骑士。」Oliver 说：「Oliver 是骑士且 Zoey 是骗子。」求教，谁是骑士，谁是骗子？

正确谜底：（1）Zoey 是骗子；（2）Oliver 是骑士。

这个「骑士与骗子」谜题，因其合成蓄意和逻辑精准性而十分恰当进一步分析。

领先，谜题关于模子来说都是未见过大数据，十分恰当用来测试泛化才能。

其次，通过蜕变字符数目（2 到 8 个）和逻辑运算的复杂性（1 到 4 种布尔运算符组合），不错调和难度。

况兼，每个谜题都有一个单一、明确的正确谜底，正确性由生成算法保证。解答需要严格的演绎推理，因此减少了奖励舞弊的风险。

总之，每个谜题都降服正经递次构建，能确保每个问题都有一个特有的惩办决议，并不错笃定性地考证。这排斥了当然说话任务中常见的蒙胧性，使咱们省略明晰地鉴识信得过的推理才能和名义上的操心。

在奖励建模中，磋议在模子输出中抑止检测舞弊行径，并抑止更正奖励蓄意。

最终，他们蓄意出了一种实在无法舞弊的基于递次的奖励系统，仅包含两种奖励类型：花样奖励和谜底奖励。

以下即是不同的推理模子和通用模子在不同难度的 K&K 逻辑谜题上的弘扬。

在 RL 推行后，不错在模子中不雅察到以下裸露的行径。

1. 会出现游移和自我考证

在想考重要，模子会时常使用「我不是皆备笃定，让咱们再行查验这一步」这类反想性抒发。

这种自我注视的行径特征在预推行阶段是皆备不存在的，而是通过奖励正确谜底、刑事职责造作谜底的强化学习机制迟缓培养酿成的。

2. 多轮径探索和回溯

经过 RL 推行后，模子会主动提倡多个惩办决议（「让咱们测试两种可能性」），并通过回溯来查验惩办决议的一致性。

3. 应用公式

尽管推行数据集结并未包含，但模子不仅省略通过系统性试错方法惩办谜题，还自主整合了体式逻辑推理才能（比如哄骗「要是 P，则 Q」的逻辑蕴含公式），这种推理模式与东说念主类的问题惩办模样高度雷同。

4. 忽然首先说华文

模子在分析问题施展时会临时插入华文抒发，随后又能当然地膺惩为英语来提供惩办决议。

这一气候标明，模子正在使用说话夹杂机制看成一种潜在的备选处理计谋，或是酿成了某种特殊的里面表征模式。

在具有挑战性的数学基准测试 AIME 和 AMC 上，模子展现出了超卓的泛化才能——收成分别提高了 125% 和 38%。

这种跨界限泛化才能标明，RL 推行的推理启发式方法发展出了详尽的问题惩办模式，而不是依赖于特定界限的模式匹配。

是以，这项磋议的推行时代，也出现「顿悟时刻」了吗？

换句话说即是，在强化学习流程中，模子的推理才能是否会发生显贵的飞跃，出现多步考证或反想，况兼这些行径不是在推行语料中明确植入的，而是模子与 RL 环境的互动所当然产生的？

磋议东说念主员发现，模子并莫得出现「等一下，等一下」这么特定的说话表述，但图 4 自大出，它在第 10 步时弘扬出了一些复杂的推理行径（举例自我反想、探索、考证、总结）。

由此，磋议东说念主员的论断是，RL 学习流程可能莫得出乎意料的「顿悟时刻」——复杂的推理行径并不是在某个特定的推行行径中倏得出现的。

1. 反想性词汇（如「查验」和「考证」）的频率舒适加多（a）-（c）；2. 会话性短语（举例「让咱们」）和严慎词汇（举例「还」）变得愈加频繁（d）-（e）；3. 华文词汇首先出当今英文回复中（f）。整个这些词汇的频率都在稳步发展，莫得倏得的进步，标明可能不存在彰着的「顿悟时刻」

除了上述技能孝敬外，磋议还有几个风趣的发现：

更长的回答并不成保证更好的推理。长度本人不是评估推行时代的有用目的。最有用的推理来自最短旅途。

说话夹杂会隔断推理。这一不雅察强调了在奖励建模中需要说话一致性刑事职责。

加多「想考」token 照实有匡助。RL 推行当然地提高了与反想关系词汇的频率，标明某些 token 频率与性能之间存在关系性。

监督微调（SFT）依赖操心；RL 完结泛化。SFT 严重依赖操心，每每导致名义的捷径学习，而 RL 则在最小依赖数据辘集构的情况下自我演化。

冷启动是一个上风，但非必需。非论是从基础模子也曾指示模子首先，推行动态都保抓惊东说念主的雷同性，尽管后者弘扬略好。

课程学习仍然伏击。在固定的数据筛选比例下，用心蓄意的课程学习方法老是优于立时打乱。

本文起首：新智元kaiyun官方网站，原文标题：《10 好意思元见效复现 DeepSeek 顿悟时刻，3B 模子爆发超强推理！微软论文实锤裸露》