2023年8月22日，在上海举行了“骑到ai背上去”钉钉生态大会。在数字员工专场分论坛上，钉钉副总裁兼音视频事业部负责人赵加雨发表了主题演讲，分享了钉钉音视频在智能化方面的进展和应用，以及基于钉钉ai paas的视频会议领域未来的开放展望
赵加雨提到，钉钉在4月份宣布要全面接入大模型，以完成智能化再造。随着人工智能与音视频的结合越来越深入，钉钉会议也实现了许多创新应用。除了之前的实时翻译、字幕转写和智能摘要，这次还推出了三项新功能：数字分身代替参会、自然语言控制会议操作和文生虚拟背景。其中，数字分身可以在会议时间冲突时替代用户参会，并能实时同步相关会议信息和结论
他表示，未来，钉钉音视频希望能将更多的场域开放给生态伙伴，共同构建丰富的、有价值的应用，提升用户的体验和效率。同时，钉钉也计划将音视频SDK嵌入生态伙伴的应用中，共同打造优质、易用的音视频解决方案，满足不同行业和场景的需求。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
以下是赵加雨的演讲全文：
在过去的一年里，钉钉音视频事业部的关键词是体验和智能化
去年我们成立了一个专门的团队，对钉钉会议进行了全面的优化，从内部到外部都进行了大量的改进。现在，钉钉会议的界面交互更加美观、便捷和沉浸。同时，在底层技术架构方面，我们对采集、播放、编解码、网络和服务端等方面进行了全面的优化。特别是在音视频方面，我们最基本的要求就是能够顺利进行会议并听到对方的声音，因此我们在音频算法和抗弱网络方面进行了提升。希望大家能够多多使用我们的钉钉会议
在谈到智能化时，视频会议这个领域在此次重大改进之前已经与人工智能结合得非常紧密。在音频算法和视频算法中，已经融入了人工智能技术。例如，与视频算法相关的人工智能应用包括美颜和虚拟背景，这些都是大家非常熟悉的场景应用。而音频算法也通过结合人工智能实现了更好的降噪效果。目前，钉钉会议已经支持消除300多种常见噪音，例如汽车喇叭声和键盘敲击声，使用户能够更专注地进行会议
我们在会议中还有一个常见的需求是字幕，本质上也是人工智能的能力。现在钉钉会议已经全面接入了阿里通义听悟，支持中英日三种语言的互译，实现实时的转写和翻译。此外，还有智能导播功能。在会议室开会时，如果有线上同事一起加入讨论，可能会出现坐得太远听不清楚，或者说话对方听不到的情况。我们的蜂鸣鸟音频实验室将人工智能和原创差分阵列技术相结合，可以实现单个会议设备10米远的拾音效果。当发言人说话时，支持精准的声源定位，实时跟踪并放大他的头像，让每个发言人都成为焦点，营造更好的对话体验
随着大模型时代的到来，我们进行了相关研究，希望利用大模型重新打造钉钉会议。今天，钉钉推出了全新的AI PaaS智能化底座，并向生态伙伴开放。在钉钉会议中，我们利用AI PaaS实现了许多有趣的功能
重写后的内容：首先，会议数字分身代替开会是一种新的方式。在职场中，人们经常面临着大量的会议，现在我们通过智能文档来帮助大家解决这个问题。我们也尝试了一些方法，为用户提供了数字分身的能力。如果你有会议冲突或者对某个会议的关联度不高，你可以让你的数字分身代替你去开会。在会议过程中，你可以通过钉钉魔法棒的对话框主动给它设置一些任务，比如关注特定的话题。当有人讨论到这个话题时，AI会自动通知你并告诉你相关内容。你还可以设定数字分身每隔几分钟给你发送一个会议总结，还可以主动与数字分身对话，了解各种信息，比如会议中有哪些人，大家是否有争议等。会议结束后，数字分身还会自动推送会议摘要给你
重写后的内容如下：其次，我们可以利用自然语言进行会议智能控制。过去，许多用户抱怨钉钉的功能过多，入口不易找到。钉钉会议也面临着这个问题，尽管我们已经进行了大量简化，但对于一些用户来说，使用门槛仍然有些高。今天，我们通过钉钉魔法棒中的智能助手简化了功能操作。你只需用自然语言提出需求，人工智能会自动识别意图并帮助你完成操作。例如，在会议中人员过多时，有人不小心开启了麦克风，你要去找到这个人并将其静音可能会比较麻烦，但现在你可以告诉人工智能将正在讲话的人静音。另外，当需要邀请人加入会议时，你也可以直接打字邀请，无需关心入口在哪里。通过这些功能，我们使会议的操作和管理变得更加简单
需要改写的内容是：第三点是关于文生虚拟背景。虚拟背景一直以来都备受用户喜爱，尤其是在过去几年里，我们年轻人玩得很开心，有时候在“太空教室”上课，有时候在“大草原”上上课。我们在日常工作中也会用到虚拟背景，这样可以有效避免背景杂乱的尴尬。以前，除了已有的模板图片，我们还需要自己去搜索并下载图片上传，但现在不需要了。我们可以通过文生图自动生成虚拟背景，完全释放我们的想象力
钉钉会议将通过AI PaaS逐步开放应用，帮助合作伙伴升级场景。未来，更多生态产品将嵌入到钉钉会议中，例如面试、白板等应用。我们正在与招聘合作伙伴共同开发面试助手，该助手可以通过简历内容和沟通信息为面试过程提供实时辅助。我们希望提供良好的体验和开放性，在智能化时代与生态伙伴一起为用户带来更多有趣、有价值的场景应用
