近日，无问芯穹联合清华大学、北京中关村学院，携手北京大学、加州大学伯克利分校等机构，正式开源首个面向具身智能的“渲训推一体化”大规模强化学习框架rlinf。这一举措为人工智能从“感知”向“行动”的跨越提供了关键技术支撑。
人工智能正经历从“感知”到“行动”的跨越式发展，融合大模型的具身智能被视为人工智能的下一发展阶段，受到学术界和工业界的共同关注。在大模型领域，随着o1/R1系列推理模型的发布，模型训练重心逐渐从数据驱动的预训练/后训练转向奖励驱动的强化学习。OpenAI预测强化学习所需算力将超过预训练，能够高效利用大规模算力的RL infra的重要性日益凸显，近期也涌现出一批优秀框架，推动了该领域的发展。
然而，当前框架对具身智能的支持仍存在局限。与纯推理大模型不同，具身智能领域存在大脑（侧重推理、长程规划）、小脑（侧重执行、短程操作）及大小脑联合等多样模型。此外，具身智能还具有“渲训推一体化”的独特属性，当前主流仿真器通常采用GPU加速，耦合多步决策带来了算力和显存竞争的新挑战。具身智能领域不仅继承了推理大模型和数字智能体的难点，还引入了新的渲训推一体化特征，再加上具身智能模型尚未收敛，对框架的灵活性、高效性和易用性提出了更高要求。
RLinf名称中的“inf”，既代表“infrastructure”（基础设施），也寓意“infinite”（无限扩展），其核心就是解决当前框架对具身智能支持受限的问题。该框架通过六大层级设计，即用户层（统一编程接口）、任务层（多后端集成方案）、执行层（灵活执行模式）、调度层（自动化调度）、通信层（自适应通信）和硬件层（异构硬件），针对性地突破技术难点。
在性能方面，RLinf在具身性能和推理性能上均表现出色。在具身性能测试中，采用FSDP+HuggingFace后端，相比其他框架的分离式执行模式，系统效率显著提速120%以上，模型成功率也有大幅提升。在推理性能测试中，采用Megtatron+SGLang后端，支持的推理大模型训练在多个测试集上取得SOTA性能。
考虑到框架的易用性，RLinf提供了全面且系统化的使用文档，还提供完整的API文档与集成AI问答机器人支持。RLinf团队的开发成员具有交叉研究背景，能够从应用需求驱动算法设计，算法指导系统设计，高效系统加速算法迭代。未来，RLinf团队将持续开发和维护该框架。
总之，RLinf的开源为具身智能领域的发展带来了新的机遇，其灵活、可扩展的设计理念和出色的性能，有望推动人工智能从“感知”向“行动”的跨越。
