无论是语言模型还是推荐大模型，用强化学习进行偏好对齐已经成为不可缺少的一步。今天这篇文章给大家梳理强化学习在大模型中的应用，首先介绍强化学习的核心思路和算法，接下来结合语言模型、推荐大模型中的具体工作介绍强化学习在大模型中的应用方法。

1

强化学习核心思路

强化学习核心要解决的问题为：给一个智能体训练一个神经网络，它以当前状态作为输入，预测下一步的动作，使得整体的期望reward最大。例如智能体是alphago，将当前棋牌状态以图像或网格数据等形式输入到神经网络，预测结果为下一步下在哪个位置，能赢得棋局。智能体为语言模型，则是将当前的问题或上下文作为输入，预测大模型应该给出什么样的答案，能够符合人类偏好。

为什么上述优化问题无法用普通的有监督学习进行优化？主要是2方面原因。其一是样本收集问题，在游戏等序列决策问题中，智能体的每次行为会影响后续状态进而影响后续行为和reward，生成样本本身就需要有一个初始智能体和环境互动，智能体也依赖这些样本更新，样本的收集和模型的更新是同步进行的，不像有件监督学习中数据集不会受到模型的影响。其他是reward优化问题，reward的设计一般比较复杂，例如每次行为有reward、整体有reward，这些reward可能是基于规则、模型计算得出的，本身不可导，因此不能像有监督学习那样直接简单引入模型中。

2

强化学习基础算法

下面简单介绍强化学习最基础的算法Policy Gradient（PG）和Proximal Policy Optimization (PPO)。它们其实就是损失函数如何设计，能让神经网络更新产出能让reward最大化的智能体。模型的输入为当前状态，输出为当前状态下应该采用什么action（如一个简单的分类）。

PG算法的核心逻辑为：模型能够生成当前环境s下进行动作a的条件概率，如果这个动作的reward比较大，就提升它的概率，否则就降低它的概率。这和普通的有监督学习类似，主要差异是使用reward进行样本加权。

Reward的设计是核心，包括一些细节。比如当前动作对后续的影响是随时间降低的，因此对于当次行为后续带来的reward使用衰减系数进行降权；使用一个value function来拟合当前状态下未来最终得到的价值期望作为reward权重的baseline，如果当前action的reward比这个baseline高，才能证明是有收益的。

PG的训练过程很慢，需要先初始化一个智能体参数，进行多次序列行动收集样本，对参数进行一轮训练，然后再用新的参数进行样本收集，再进行训练，以此类推，效率很低。PPO主要为了解决该问题，引入重要性采样的方法，让模型能够使用新智能体参数去学老智能体收集到的样本，大幅提升训练效率。

其核心思路是利用重要性采样，根据新老参数的分布差异对老参数智能体收集的样本进行加权使得该样本在新参数上也能训练。同时考虑到两个分布差异太大会导致重要性采样误差较大，使用KL散度约束新老参数产出的行为分布不能相差太多，也可以使用clip的方法对两个分布的差异进行clip。

3

大模型中的强化学习应用

在介绍了强化学习最基础的算法逻辑后，下面我们对大模型中强化学习的应用进行梳理。首先在大模型中应用强化学习的工作是Training language models to follow instructions with human feedback（2022），文中利用强化学习的PPO算法进行大模型的偏好对齐，构建了InstructGPT。在InstrucGPT中，智能体就是大模型本身，环境就是给大模型输入的prompt（如问题等，需要大模型给出回答），动作就是大模型每个时间步产出的文本，每个时间步产出的文本对应序列决策中每一步的action。

Reward文中使用了一个单独的模型产出，对于一个prompt让多个模型产出多种结果，让标注员评判这些结果的好坏，用这种带排序的标注结果训练一个奖励模型。对于一个prompt+回答，奖励模型能给出它的好坏程度，作为后续强化学习中的reward。通过这种方式，直接将人工评判的风格偏好引入到大模型中，这种不可导的奖励信号不借助强化学习是无法引入模型的。Value function使用了一个和大模型相同的结构，用来产出每个token生成预期的最终reward。

整体的损失函数表示如下，其中第一项是PPO损失，文中将PPO的KL散度约束改成了per-token的，即预训练模型和偏好对齐后的模型每个token的分布不能差异太大。同时也引入了前序非强化学习的预训练loss进行混合训练。

***DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models（2024）***提出了一种更高效的GRPO算法代替PPO。在PPO中，需要一个value function评估当前生成这个token未来的期望价值作为baseline，value function一般来说和policy（也就是大模型本身）是同相同的网络，参数量也很大，导致计算复杂度很高。为了解决这个问题，GRPO的核心优化是去掉了value function，改成使用对于同一个问题的多条采样输出结果的reward对当前reward进行归一化（计算采样均值、方差等），替代value function的baseline作用。和PPO的本质区别在于后者用模型预测reward期望作为baselin，前者用采样结果+reward模型打分统计平均reward作为baseline。

***DAPO: An Open-Source LLM Reinforcement Learning System at Scale（2025）***针对PPO、GRPO在大模型上应用存在的问题进行了多个细节优化。首先是将PPO中重要性采样引入的约束项的clip上限放开，Clip的作用和KL相似，都是为了让新参数和老参数产出的行为分布差异不要太大。但这种方式限制了低预估概率探索token的生成，同时高预估概率的探索token很难被限制住。其次是在GRPO的采样上，随着训练的进行有很多采样结果可能reward都是准确的且相同的，这些采样结果让模型在后期训练变慢，因此文中将采样次数提升，同时去掉其中完全准确的采样结果。对于序列长度的差异，之前采用sample维度求token loss平均计算loss，对于长句子来说每个token生成的好与坏被平滑掉了，因此文中将sample级别的loss改成token级别的loss。对于过长句子被截断的影响，文中发现这部分样本会影响训练稳定性（也是由于改成了token维度loss带来的负面效果），因此针对这些句子根据其超出最大长度限制比例进行降权，超出长度越多loss权重越低。

除了上述标准强化学习方法外，有的模型也利用其他方法模拟强化学习的偏好对齐能力。例如***Direct Preference Optimization: Your Language Model is Secretly a Reward Model（2024）***论文中提出的DPO方法，基于人工标注的最好的样本和最差的样本构建pair-wise样本，让模型预测好样本概率大于差样本，绕过了强化学习，Qwen模型中也使用该方法进行偏好对齐。

4

推荐大模型中的强化学习应用

在推荐大模型中，基本沿用了语言大模型常用的强化学习方法，核心差异在于在推荐大模型中如何定义reward，在推荐系统中，一般根据用户日志来判断用户对推荐结果是否感兴趣，如播放时长、点击率等。

在第一版Onerec中，reward model采用了类似精排模型的方式训练各个关注的目标（如有效播放、点击率等）作为reward。对于一个用户的一次session请求，通过beam search的方式生成多组session推荐结果，使用精排模型打分得到每个session的总reward值，选择reward最大和最小的构建pair样本，使用DPO损失函数进行优化。

在Onerec V2中，也开始采用强化学习进行推荐大模型的偏好对齐。在reward的设计上，Onerec V2的做法更为简单，直接人工定义reward值。将用户看过的视频根据市场分组，当对一个视频的观看时长属于该分组下这个用户历史观看时长前25%的，reward就为1；当对一个视频有显示负反馈行为，reward就为0。这个过程将PPO中的value function和baseline作对比的作用直接放在了人工reward构造的过程中。

在强化学习算法上，分别提出了ECPO和GBPO方法，两者都是在PPO中的clip上做优化。ECPO中，对负向value的梯度的最大值也进行了约束，防止出现梯度爆炸问题，提升训练稳定性。在GBPO中，对于负样本提出了动态clip的方法，其核心逻辑为，一个负样本如果预测概率比较低，其进一步优化的空间就很小了，因此梯度应该比较小才合理，但是GRPO中并没有这种根据预测概率动态调节梯度的方法。在基础的BCE中，梯度中的1-p可以起到这个平滑作用，因此GBPO引入类似的方式，直接用1-行为概率预测结果作为负样本的动态clip边界。

在RecGPTV2中，也采用了强化学习的方法对RecGPTV1进行偏好对齐。RecGPTV2采用GRPO进行优化，主要差异是在reward的设计上。在每个Expert的训练上，reward综合考虑了item tag预测的准确率、基于用户偏好对训练的奖励模型的打分、生成结果的多样性（每个tag映射成表征计算两两cosine距离的均值）等。可以看到在推荐大模型领域，reward的设计会更加复杂，需要综合考虑用户偏好、多样性、负反馈等各种信息。

​最后

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包：

• ✅AI大模型学习路线图
• ✅Agent行业报告
• ✅100集大模型视频教程
• ✅大模型书籍PDF
• ✅DeepSeek教程
• ✅AI产品经理入门资料

完整的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
​​

为什么说现在普通人就业/升职加薪的首选是AI大模型？

人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。

智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200% ，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。

​​

资料包有什么？

①从入门到精通的全套视频教程⑤⑥

包含提示词工程、RAG、Agent等技术点

② AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

④各大厂大模型面试题目详解

⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

​​​​

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**

​