在虚拟现实与元宇宙技术迅猛发展的当下，三维虚拟内容创作面临的高成本与低效问题始终制约着行业的进一步突破。近日，浙江大学计算机科学与技术学院博士生、魔芯科技陈天润率领团队，借助浙江大学 鲲鹏昇腾科教创新卓越中心提供的强大算力支持，成功开发出基于昇腾平台npu的首个三维模型生成算法——img2cad。
该研究的关键突破在于，首次实现了利用生成式模型精准输出可用于描述三维结构的脚本语言。通过引入Transformer架构，系统能够高效地将稀疏且抽象的草图、图像等多模态输入“翻译”为精确的三维几何信息，无需依赖可微渲染器，完全在NPU上完成训练与高速推理，摆脱了对大量Vector算力的依赖。最终生成的3D模型不仅精度高，还可直接用于3D打印、CNC加工、数字展览展示，并能无缝导入主流CAD软件进行后续编辑。其中，昇腾加速套件MindSpeed发挥了核心作用，其支持多种数据类型的加载与构建，灵活适配多模态数据的异构特性，有效保障了视觉大模型与脚本语言模块之间的高效协同。
此外，团队通过对模型结构的深度优化，实现了三维建模过程的即时交互。依托CANN算子库，NPU的并行计算能力与高效内存访问机制得以充分发挥，显著降低了计算延迟与通信开销，大幅提升了推理速度。这使得系统能够实时响应用户输入的草图或图片，为实际应用场景提供了流畅、低延迟的3D交互建模体验，奠定了坚实的技术基础。
该三维生成方法目前已应用于3D数据资产的快速构建，并服务于如KOKONI 3D打印机等实际产品场景，为数字制造、增强现实（AR）、虚拟现实（VR）等领域提供了高效的内容生成解决方案。项目已产出3篇高水平研究成果，包括1篇发表于中科院一区期刊及2篇被CCF-A类会议收录的论文，部分成果已实现商业化落地，正持续推动昇腾算力在三维数字化产业中的广泛应用。
此次在跨模态可控三维生成方向的技术突破，不仅是浙江大学 鲲鹏昇腾科教创新卓越中心在产学研协同创新方面的成功范例，更意味着智能三维内容创作正式迈入“低门槛、高效率、高质量”的全新时代。展望未来，随着Img2CAD系列模型的持续迭代升级，其将在工业设计、数字文创、AR/VR等众多领域释放巨大创造力，加速推动虚拟世界与现实世界的深度融合。
