微软团队突破性研究：从零构建大行动模型lam，实现ai从被动语言生成到主动行动生成的飞跃！
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
微软Data, Knowledge, and Intelligence (DKI) 团队（TaskWeaver, WizardLLM, Windows GUI Agent UFO核心开发者）发布技术报告，详细阐述了如何在缺乏直接可用数据的情况下，从头训练一个能够在真实环境中执行任务的大行动模型（Large Action Model, LAM）。该研究为AI从被动语言生成向主动行动生成的转变提供了全新思路。
LLM的局限与LAM的优势
当前的大语言模型（LLM），如GPT系列和Mistral-7B，擅长文本生成，但在与物理或数字环境交互方面存在局限，无法执行超越文本层面的操作。 这种“语言-行动断层”限制了AI的实际应用。
LAM则具备三大关键特性：精准的用户意图理解（涵盖语言、语音、图像等多种输入）、强大的行动生成能力（GUI操作、API调用、物理动作等）、以及动态规划与环境适应能力。
- 技术报告：Large Action Models: From Inception to Implementation
- 数据处理代码：https://www.php.cn/link/21b9a07cb47f707a02489fd5e3b882bd
- 完整技术文档：https://www.php.cn/link/dc4781e4d7949791a2c973340de4a010
从LLM到LAM的挑战与解决方案
将LLM转变为LAM面临诸多挑战：数据获取困难、模型训练方法的革新、离线评估的局限性以及线上环境适配和评估的复杂性。
微软团队提出的完整解决方案，涵盖了数据积累、模型训练和部署的各个阶段。
图1：从LLM到LAM的演变
数据积累：从无到有的数据构建流程
该团队设计了一个两阶段的数据收集和处理流程：
阶段一：任务-计划数据收集 从开源资源（应用帮助文档、WikiHow教程、搜索查询记录）收集76,672对任务-计划数据，并通过数据增强技术将数据量扩展至原来的150%。
阶段二：任务-行动数据收集 将抽象的计划步骤转化为具体的行动序列，并在真实环境中执行验证，最终生成结构化的任务-行动对。
图2：任务-计划数据的收集过程
图3：任务-行动数据的收集过程
LAM训练流程：四阶段逐步迭代
LAM的训练过程分为四个阶段：
- 任务计划预训练: 利用任务-计划数据预训练模型，使其掌握任务分解能力。
- 专家知识学习: 利用任务-行动数据进行模仿学习，让模型能够执行具体的行动。
- 自我探索提升: 将LAM部署在UFO框架中，通过与真实环境交互，自动生成新的训练数据，并迭代模型。
- 奖励模型优化: 引入奖励模型，利用强化学习进一步优化LAM的决策能力。
图4：LAM的训练过程
实验结果：离线和线上测试验证LAM的有效性
离线实验结果显示，LAM在各个训练阶段都取得了显著的性能提升。 线上实验结果表明，LAM在真实环境中的任务成功率达到了71.0%，并且在任务完成时间和平均步时延方面也展现了显著的优势。
表1：不同LAM训练阶段的离线实验结果
图5：LAM智能体架构
表2：LAM的线上实验结果
这项研究为构建能够在真实世界中执行复杂任务的AI智能体提供了宝贵的经验和方法论，标志着AI技术发展的重要里程碑。
