人类偏好就是尺！SPPO对齐技术让大语言模型左右互搏、自我博弈

PHPz

发布时间：2024-05-13 15:22:01

394人浏览过

来源于机器之心

转载

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

Richard Sutton 在「The Bitter Lesson」中做过这样的评价：「从70年的人工智能研究中可以得出的最重要教训是，那些利用计算的通用方法最终是最有效的，而且优势巨大。」

自我博弈（self play）就是这样一种同时利用搜索和学习从而充分利用和扩大计算规模的方法。

今年年初，加利福尼亚大学洛杉矶分校（UCLA）的顾全全教授团队提出了一种自我博弈微调方法 (Self-Play Fine-Tuning, SPIN)，可不使用额外微调数据，仅靠自我博弈就能大幅提升 LLM 的能力。

最近，顾全全教授团队和卡内基梅隆大学（CMU）Yiming Yang教授团队合作开发了一种名为「自我博弈偏好优化（Self-Play Preference Optimization, SPPO）」的对齐技术，这一新方法旨在通过自我博弈的框架来优化大语言模型的行为，使其更好地符合人类的偏好。左右互搏再显神通！

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

人类偏好就是尺！sppo对齐技术让大语言模型左右互搏、自我博弈

论文标题：Self-Play Preference Optimization for Language Model Alignment
论文链接：https://arxiv.org/pdf/2405.00675.pdf

技术背景与挑战

大语言模型（LLM）正成为人工智能领域的重要推动力，凭借其出色的文本生成和理解能力在种任务中表现卓越。尽管LLM的能力令人瞩目，但要使这些模型的输出行为更符合实际应用中的需求，通常需要通过对齐（alignment）过程进行微调。

这个过程关键在于调整模型以更好地反映人类的偏好和行为准则。常见的方法包括基于人类反馈的强化学习（RLHF）或者直接偏好优化（Direct Preference Optimization,DPO）。

基于人类反馈的强化学习（RLHF）依赖于显式的维护一个奖励模型用来调整和细化大语言模型。换言之，例如，InstructGPT就是基于人类偏好数据先训练一个服从Bradley-Terry模型的奖励函数，然后使用像近似策略优化（Proximal Policy Optimization,PPO）的强化学习算法去优化大语言模型。去年，研究者们提出了直接偏好优化（Direct Preference Optimization,DPO）。

不同于RLHF维护一个显式的奖励模型，DPO算法隐含的服从Bradley-Terry模型，但可以直接用于大语言模型优化。已有工作试图通过多次迭代的使用DPO来进一步微调大模型 (图1)。

人类偏好就是尺！SPPO对齐技术让大语言模型左右互搏、自我博弈

^{图1.基于Bradley-Terry模型的迭代优化方法缺乏理论理解和保证}

如Bradley-Terry这样的参数模型会为每个选择提供一个数值分数。这些模型虽然提供了合理的人类偏好近似，但未能完全捕获人类行为的复杂性。

这些模型往往假设不同选择之间的偏好关系是单调和传递的，而实证证据却常常显示出人类决策的非一致性和非线性，例如Tversky的研究观察到人类决策可能会受到多种因素的影响，并表现出不一致性。

SPPO的理论基础与方法

人类偏好就是尺！SPPO对齐技术让大语言模型左右互搏、自我博弈

Anybot

创建AI驱动的聊天机器人，快速、轻松地实现业务自动化

下载

^{图2.假想的两个语言模型进行常和博弈。}

在这些背景下，作者提出了一个新的自我博弈框架 SPPO，该框架不仅具有解决两玩家常和博弈（two-player constant-sum game）的可证明保证，而且可以扩展到大规模的高效微调大型语言模型。

具体来说，文章将RLHF问题严格定义为一个两玩家常和博弈（图2）。该工作的目标是识别纳什均衡策略，这种策略在平均意义上始终能提供比其他任何策略更受偏好的回复。

为了近似地识别纳什均衡策略，作者采用了具有乘法权重的经典在线自适应算法作为解决两玩家博弈的高层框架算法。

在该框架的每一步内，算法可以通过自我博弈机制来近似乘法权重更新，其中在每一轮中，大语言模型都在针对上一轮的自身进行微调，通过模型生成的合成数据和偏好模型的注释来进行优化。

具体来说，大语言模型在每一轮回会针对每个提示生成若干回复；依据偏好模型的标注，算法可以估计出每个回复的胜率；算法从而可以进一步微调大语言模型的参数使得那些胜率高的回复拥有更高的出现概率（图3）。

人类偏好就是尺！SPPO对齐技术让大语言模型左右互搏、自我博弈

^{图3.自我博弈算法的目标是微调自身从而胜过上一轮的语言模型}

实验设计与成果

在实验中，研究团队采用了一种Mistral-7B作为基线模型，并使用了UltraFeedback数据集的60,000个提示(prompt)进行无监督训练。他们发现，通过自我博弈的方式，模型能够显著提高在多个评估平台上的表现，例如AlpacaEval 2.0和MT-Bench。这些平台广泛用于评估模型生成文本的质量和相关性。

通过SPPO方法，模型不仅在生成文本的流畅性和准确性上得到了改进，更重要的是：「它在符合人类价值和偏好方面表现得更加出色」。

人类偏好就是尺！SPPO对齐技术让大语言模型左右互搏、自我博弈

^{图4.SPPO模型在AlpacaEval 2.0上的效果提升显著，且高于如 Iterative DPO 的其他基准方法。}

在AlpacaEval 2.0的测试中（图4），经过SPPO优化的模型在长度控制胜率方面从基线模型的17.11%提升到了28.53%，显示了其对人类偏好理解的显著提高。经过三轮SPPO优化的模型在AlpacaEval2.0上显著优于多轮迭代的DPO, IPO和自我奖励的语言模型（Self-Rewarding LM）。

此外，该模型在MT-Bench上的表现也超过了传统通过人类反馈调优的模型。这证明了SPPO在自动调整模型行为以适应复杂任务方面的有效性。

结论与未来展望

自我博弈偏好优化（SPPO）为大语言模型提供了一个全新的优化路径，不仅提高了模型的生成质量，更重要的是提高了模型与人类偏好的对齐度。

随着技术的不断发展和优化，预计SPPO及其衍生技术将在人工智能的可持续发展和社会应用中发挥更大的作用，为构建更加智能和负责任的AI系统铺平道路。

AI绘画ComfyUI怎么搭专属工作流_AI绘画ComfyUI工作流搭法【方案】

AI抠图哪款支持多格式_多格式AI抠图选Removebg兼容广【汇总】

ExcelAI助手如何转静态表为交互图_ExcelAI加VBA做点击响应图【攻略】

AI抠图哪个品牌易上手_易上手AI抠图首推PhotoRoom极简操【分享】

Vectr导入PS线条断裂如何解决_Vectr连线条导入法【处理】

相关专题

页面置换算法

页面置换算法是操作系统中用来决定在内存中哪些页面应该被换出以便为新的页面提供空间的算法。本专题为大家提供页面置换算法的相关文章，大家可以免费体验。

402

2023.08.14

人工智能在生活中的应用

人工智能在生活中的应用有语音助手、无人驾驶、金融服务、医疗诊断、智能家居、智能推荐、自然语言处理和游戏设计等。本专题为大家提供人工智能相关的文章、下载、课程内容，供大家免费下载体验。

410

2023.08.17

人工智能的基本概念是什么

人工智能的英文缩写为AI，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

300

2024.01.09

人工智能不能取代人类的原因是什么

人工智能不能取代人类的原因包括情感与意识、创造力与想象力、伦理与道德、社会交往与沟通能力、灵活性与适应性、持续学习和自我提升等。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

628

2024.09.10

Python 人工智能

本专题聚焦 Python 在人工智能与机器学习领域的核心应用，系统讲解数据预处理、特征工程、监督与无监督学习、模型训练与评估、超参数调优等关键知识。通过实战案例（如房价预测、图像分类、文本情感分析），帮助学习者全面掌握 Python 机器学习模型的构建与实战能力。

2025.10.21

http与https有哪些区别

http与https的区别：1、协议安全性；2、连接方式；3、证书管理；4、连接状态；5、端口号；6、资源消耗；7、兼容性。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

1976

2024.08.16

C++ 单元测试与代码质量保障

本专题系统讲解 C++ 在单元测试与代码质量保障方面的实战方法，包括测试驱动开发理念、Google Test/Google Mock 的使用、测试用例设计、边界条件验证、持续集成中的自动化测试流程，以及常见代码质量问题的发现与修复。通过工程化示例，帮助开发者建立可测试、可维护、高质量的 C++ 项目体系。

2026.01.16