Coevolving with the Other You: Fine-Tuning LLM with Sequential Cooperative Multi-Agent Reinforcement Learning

University of Chinese Academy of Sciences、Alibaba <2024.8< NeurIPS 2024

该论文尚未公布源码，如有变化可评论区讨论

引言

研究背景：强化学习(RL)已经成为在特定任务上微调大型语言模型(LLMs)的关键技术。然而，目前流行的RL微调方法主要依赖于PPO及其变体。虽然这些算法在一般的RL设置中是有效的，但当应用于LLM的微调时，它们往往表现出次优的性能并容易造成分布崩溃。

摘要：在本文中，我们提出了CORY，将LLM的RL微调扩展到一个顺序合作型的多智能体强化学习框架中，用多智能体系统固有的协同进化和涌现能力赋能LLM微调。CORY将多个LLM的交互构造为一个Stackelberg博弈：待微调的LLM被复制为两个自主智能体，一个先锋和一个观察者。先锋基于提问生成回答，而观察者同时接收提问和先锋的回答生成回答。在训练过程中，智能体定期交换角色，促进它们之间的合作和共同进化。实验在代表主观奖励的IMDB Review数据集和代表客观奖励的GSM8K数据集上分别对GPT-2和Llama-2进行微调。结果表明，CORY在策略最优性、抗分布崩溃性和训练鲁棒性方面均优于PPO。

核心创新点：

• 提出了CORY方法，将LLMs的RL微调扩展到了顺序合作多智能体强化学习框架。
• 设计了知识转移和角色交换两种基本机制，以促进两个LLM代理之间的共进化。
• CORY是一个与算法无关的方法，可以与各种RL算法集成，同时保持简单性和与现有方法的兼容性。

实验工具

数据集： IMDB Review和GSM8K数据集

模型： GPT-2和Llama-2

实验过程

CORY算法框架。RL微调方法可以简单地扩展到CORY版本，只需三个步骤。

1. 将待微调LLM复制为两个LLM智能体，一个作为先驱，另一个作为观察者;
2. 将两个LLM智能体的任务奖励相加来代替原始任务奖励;
3. 在训练期间定期交换两个LLM智能体的角色。经过训练，任何一个LLM智能体都可以独立使用。