0

0

SenseNova-MARS— 商汤科技开源的多模态自主推理模型

聖光之護

聖光之護

发布时间:2026-01-31 20:50:17

|

959人浏览过

|

来源于php中文网

原创

SenseNova-MARS是什么

sensenova-mars是由商汤科技推出的开源多模态自主推理大模型,提供8b与32b两种参数量级版本。作为业界首个实现动态视觉推理与图文联合搜索深度协同的agentic视觉语言模型(agentic vlm),该模型具备类智能体的任务规划能力,可自主调度图像裁剪、文本检索、图像检索三大核心工具,无需人工介入即可完成多步、跨模态的复杂推理任务。在mmsearch、hr-mmsearch、fvqa等七大权威评测基准上,sensenova-mars-32b以69.74的平均分领先gemini-3-pro(69.06)和gpt-5.2(67.64),在当前开源模型中刷新sota纪录,标志着人工智能正从“被动应答”迈向“主动执行”的关键演进。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

SenseNova-MARS— 商汤科技开源的多模态自主推理模型

VALL-E
VALL-E

VALL-E是一种用于文本到语音生成 (TTS) 的语言建模方法

下载

SenseNova-MARS的核心能力

  • 跨模态搜索式推理:深度融合图像与文本语义,支持实时调用外部工具开展知识驱动的多跳推理,实现信息检索与逻辑推演的一体化闭环。
  • 超精细视觉理解:原生适配4K/8K超高分辨率图像输入,可稳定识别并精准裁剪占比低于5%的微小目标区域,保障细节级分析可靠性。
  • 端到端Agent式执行:无需人工拆解任务,模型自动分解步骤、协调工具调用顺序,并持续迭代优化决策路径,独立完成高复杂度现实任务。

SenseNova-MARS的技术实现机制

  • 两阶段协同训练框架:第一阶段采用约3,000条高质量多轮人机交互轨迹进行监督微调,使模型快速习得基础工具调用范式;第二阶段引入BN-GSPO强化学习算法,通过组内归一化与批次级归一化双重机制,显著提升多工具协同策略的稳定性与泛化性。
  • BN-GSPO强化学习设计:专为多工具长序列决策场景优化,先对同组轨迹做组内归一化以消除样本间偏差,再对整批数据统一归一化,有效缓解因任务长度差异与奖励尺度不一致引发的训练震荡,实现高效稳健的策略收敛。
  • 结构化动作空间与工具接口:每轮推理仅需在文本搜索、图像搜索、图像裁剪及终止响应四类动作中择一执行;图像裁剪通过归一化坐标框(x_min, y_min, x_max, y_max)实现像素级局部聚焦;所有工具调用严格遵循预定义JSON Schema,确保系统级交互一致性。
  • 双维度稀疏奖励建模:以GPT-4o为外部评判器,从答案正确性与格式规范性两个维度生成稀疏奖励信号:正确性奖励基于最终输出与标准答案的语义相似度计算;格式奖励则验证每轮响应是否完整包含推理链路、工具调用指令及参数字段。
  • 全自动高质量数据构建流水线:依托多模态智能体引擎,集成细粒度视觉锚点定位、多跳跨源关联检索、闭环自洽性验证三大模块,从海量网页中自动挖掘实体间深层逻辑关系,生成高难度推理样本,并同步过滤幻觉内容,保障训练数据的真实性与挑战性。

SenseNova-MARS的官方资源入口

SenseNova-MARS的典型应用方向

  • 体育赛事智能分析:精准识别赛车服上的微型标识,联动检索所属车队、车手履历及历史成绩,并自动比对计时数据辅助判罚复核。
  • 企业级商业情报提取:从行业峰会合影中识别参会企业Logo,一键聚合其最新产品参数、融资动态与竞品对比信息,支撑战略研判。
  • 新闻事件真实性验证:针对高清现场图片,溯源拍摄地点、时间戳及涉事人物身份,交叉验证社交平台传播内容的可信度。
  • 科研辅助与教学增效:自动解析学术论文中的图表数据,同步检索相关理论依据与前沿进展,加速文献调研与知识图谱构建。
  • 文旅场景沉浸导览:识别街景中古建筑铭牌、交通指示牌等细微元素,即时推送对应的历史典故、文化背景与周边服务信息,打造个性化探索体验。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
bootstrap安装教程
bootstrap安装教程

本专题整合了bootstrap安装相关教程,阅读专题下面的文章了解更多详细操作教程。

3

2026.03.18

bootstrap框架介绍
bootstrap框架介绍

本专题整合了bootstrap框架相关介绍,阅读专题下面的文章了解更多详细内容。

4

2026.03.18

vscode 格式化
vscode 格式化

本专题整合了vscode格式化相关内容,阅读专题下面的文章了解更多详细内容。

2

2026.03.18

vscode设置中文教程
vscode设置中文教程

本专题整合了vscode设置中文相关内容,阅读专题下面的文章了解更多详细教程。

0

2026.03.18

vscode更新教程合集
vscode更新教程合集

本专题整合了vscode更新相关内容,阅读专题下面的文章了解更多详细教程。

3

2026.03.18

Gemini网页版零基础入门:5分钟上手Gemini聊天指南
Gemini网页版零基础入门:5分钟上手Gemini聊天指南

本专题专为零基础用户打造,5分钟快速掌握Gemini网页版核心用法。从账号登录到界面布局,详解如何发起对话、优化提示词及利用多模态功能。通过实战案例,教你高效获取信息、创作内容与分析数据。无论学习还是工作,轻松开启AI辅助新时代,让Gemini成为你的得力智能助手。

9

2026.03.18

Python WebSocket实时通信与异步服务开发实践
Python WebSocket实时通信与异步服务开发实践

本专题聚焦 Python 在实时通信场景中的开发实践,系统讲解 WebSocket 协议原理、长连接管理、消息推送机制以及异步服务架构设计。内容包括客户端与服务端通信实现、连接稳定性优化、消息队列集成及高并发处理策略。通过完整案例,帮助开发者构建高效稳定的实时通信系统,适用于聊天应用、实时数据推送等场景。

8

2026.03.18

Java Spring Security权限控制与认证机制实战
Java Spring Security权限控制与认证机制实战

本专题围绕 Java 后端安全体系建设展开,重点讲解 Spring Security 在权限控制与认证机制中的应用实践。内容涵盖用户认证流程、权限模型设计、JWT 鉴权方案、OAuth2 集成以及接口安全防护策略。通过实际项目案例,帮助开发者构建安全可靠的后端认证体系,提升系统安全性与可扩展能力。

26

2026.03.18

抖漫入口地址合集
抖漫入口地址合集

本专题整合了抖漫入口地址相关合集,阅读专题下面的文章了解更多详细地址。

176

2026.03.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 10.4万人学习

JS进阶与BootStrap学习
JS进阶与BootStrap学习

共39课时 | 3.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号