0

0

3D高斯Splatting下游应用全解析:分割、编辑、生成及未来方向

星夢妙者

星夢妙者

发布时间:2025-09-19 10:38:00

|

719人浏览过

|

来源于php中文网

原创

3d高斯splatting(3dgs)作为神经辐射场(nerf)的替代方案,以显式且紧凑的各向异性3d高斯集合,实现了高保真实时渲染。它的下游应用广泛,涵盖分割、编辑、生成等多个领域。

分割任务

在分割任务方面,由于缺乏大规模的3D标注数据,现有方法主要依赖强大的2D基础模型来指导3D分割,可分为以下几类。

基于特征蒸馏的方法,如LangSplat、Feature3DGS等,将CLIP、SAM等2D基础模型的语义知识蒸馏到3D高斯中。通过优化高维特征场(N2F2)、引入跨模态光栅化器(VLGaussian)提升精度。同时,采用量化(LEGaussian)、哈希编码(FMGS)等手段降低计算成本。基于2D掩码提升的方法,通过预处理(GaussianGrouping的对象关联)、后处理(OmniSeg3D的层次聚类)及端到端学习(SAGA的尺度感知对比训练)解决跨视图一致性问题。此外,还存在无训练策略,如SAGD的投影法、FlashSplat的线性规划。前馈方法,像SLGaussian、Dr. Splat等,通过多视图跟踪和特征压缩实现快速语义场构建。

编辑任务

编辑任务主要有以下几种实现方式。

文本驱动方法,如GaussianEditor、GSEditPro等,通过跟踪目标、注意力定位编辑区域。借助深度约束(GaussCtrl)、轨迹锚定(TrAME)保证多视图一致性。ProGDF等通过渐进采样和轻量网络提升效率。图像引导方法,TIP - Editor、GS - VTON等利用LoRA微调实现个性化编辑。结合扩散模型(VcEdit、TIGER)和多阶段细化(Point’n Move)增强效果。风格迁移,通过优化目标函数(SGSST的多尺度损失)、整合扩散模型(InstantStyleGaussian)及VGG特征(StyleSplat)实现。同时,还能处理对象移除、拖拽、视频编辑等子任务。

生成任务

生成任务分为对象级和场景级。

Magic Write
Magic Write

Canva旗下AI文案生成器

下载
对象级,优化方法如DreamGaussian、GaussianDreamer等,基于SDS损失,通过改进SDS(StableDreamer的损失等效化)、多视图引导(MVGaussian结合MVDream)提升质量。前馈方法如LGM、GRM等,利用潜在空间优化和多视图输入生成。场景级,方法如DreamScene、Text2Room等,通过逐场景优化、迭代生成和前馈网络实现。依赖扩散模型和几何约束保证一致性。

评估指标

在评估方面,不同任务有不同的常用数据集和评估指标。

分割,常用ScanNet、Replica等数据集,以mIoU、mAcc为指标。Unified - Lift、PanoGS表现突出。编辑,在Mip - NeRF360、IN2N上用CLIP相似度、FID等评估,GaussianVTON效果佳。生成,在GSO、Objaverse上通过PSNR、LPIPS等衡量,NovelGS和Atlas - Gaussians领先。

核心见解与未来方向

3DGS凭借显式表示的优势,结合2D基础模型和扩散模型,有力地推动了下游任务的发展。然而,当前仍存在一些问题需要解决,例如大规模前馈学习、3D感知评估指标以及与大语言模型(LLM)的结合等。

未来,可朝着通用模型和3D基础模型融合的方向进行探索。此外,3DGS不仅在上述核心应用领域表现出色,还在数字人、即时定位与建图和3D目标检测等领域展现出广泛的应用前景。

相关专题

更多
好用的视频编辑软件推荐
好用的视频编辑软件推荐

好用的视频编辑软件:1. Final Cut Pro X:适合Mac用户,专业级,配置要求高。2. iMovie:苹果设备自带,适合初学者。3. Adobe Premiere Pro:跨平台,功能强大,适合专业用户。4. DaVinci Resolve:专业调色软件,配置要求高。5. 爱剪辑:适合Windows初学者,功能丰富。6. 威力导演:适合Windows中级用户,支持360度视频编辑。

195

2025.04.15

高德地图升级方法汇总
高德地图升级方法汇总

本专题整合了高德地图升级相关教程,阅读专题下面的文章了解更多详细内容。

43

2026.01.16

全民K歌得高分教程大全
全民K歌得高分教程大全

本专题整合了全民K歌得高分技巧汇总,阅读专题下面的文章了解更多详细内容。

84

2026.01.16

C++ 单元测试与代码质量保障
C++ 单元测试与代码质量保障

本专题系统讲解 C++ 在单元测试与代码质量保障方面的实战方法,包括测试驱动开发理念、Google Test/Google Mock 的使用、测试用例设计、边界条件验证、持续集成中的自动化测试流程,以及常见代码质量问题的发现与修复。通过工程化示例,帮助开发者建立 可测试、可维护、高质量的 C++ 项目体系。

24

2026.01.16

java数据库连接教程大全
java数据库连接教程大全

本专题整合了java数据库连接相关教程,阅读专题下面的文章了解更多详细内容。

35

2026.01.15

Java音频处理教程汇总
Java音频处理教程汇总

本专题整合了java音频处理教程大全,阅读专题下面的文章了解更多详细内容。

16

2026.01.15

windows查看wifi密码教程大全
windows查看wifi密码教程大全

本专题整合了windows查看wifi密码教程大全,阅读专题下面的文章了解更多详细内容。

56

2026.01.15

浏览器缓存清理方法汇总
浏览器缓存清理方法汇总

本专题整合了浏览器缓存清理教程汇总,阅读专题下面的文章了解更多详细内容。

16

2026.01.15

ps图片相关教程汇总
ps图片相关教程汇总

本专题整合了ps图片设置相关教程合集,阅读专题下面的文章了解更多详细内容。

9

2026.01.15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 3.8万人学习

Rust 教程
Rust 教程

共28课时 | 4.5万人学习

Git 教程
Git 教程

共21课时 | 2.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号