近日，包头市公安局公布福州市某科技公司法人代表郭先生因为ai换脸，10分钟内被骗430万元的案件引发对人工智能安全的广泛热议。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
对此，马上消费人工智能研究院智能核身专家冯月表示，“活体防伪、中介识别等技术的核心功能便是能够避免人脸识别的自身缺陷，有效识别照片、视频、面具、仿真模型等，特别是本事件中出现的换脸、变声欺诈行为。”
对于AI带来的潜在风险，“AI教父”辛顿在接受《纽约时报》采访时曾如此表示，“相较于气候变化，AI可能对人类的威胁‘更紧迫’。”
结合现实，此言并非“危言耸听”。潘多拉魔盒中的“恶”正在逐渐显现，与此同时，AIGC正以迅猛之势推动AI发展进入新阶段。
防范技术之“恶”：眼见不一定为实
据“平安包头”微信公众号消息近日显示，包头市公安局电信网络犯罪侦查局发布一起电信诈骗的案件，福州市某科技公司法人代表郭先生10分钟内被骗430万元，幸运的是336.84万元被骗资金已经被拦截，而其中用到的便是“智能AI换脸和拟声技术”。他们是怎么做到的呢？
这是一个复杂的过程，从新闻本身看，受害人郭先生的视角里主要是被换脸技术和拟声技术所欺骗，但事件背后可能还暗含了一些其它条件，比如犯罪分子是通过什么渠道与受害人建立的联系、如何获取的相关社交软件的账号、如何知道他需要冒充谁、如何获取对应的图像和声音物料、以及如何挑选被害人。
如果我们聚焦到换脸技术和拟声技术两个关键问题上，它主要的难题就是基础数据的获取、训练框架、实时渲染三项。数据层面上，从社交媒体等社工库可以获取冒充对象的影音信息，亦或者是从丢失的黑产手机的相册、聊天记录中提取。训练框架上，目前国内几个主流的短视频平台的剪辑软件中都支持换脸特效，并且没有警示信息，国外的开源框架中合成方法超过30种。在实时渲染上，通过对手机刷机、安装侵入软件等攻击操作也可以实现劫持渲染。
因此，“眼见不一定为实”，技术背后总有处心积虑之“恶”，不可不防。
防患于未然，用“魔法”打败“魔法”
风险不可避免，又该怎样利用“魔法”打败“魔法”？
目前，许多金融机构已有相关的落地举措与相关技术应用。比如活体防伪、中介识别等技术在金融业务场景中也已得以应用。
“活体防伪、中介识别等技术的核心功能便是能够避免人脸识别的自身缺陷，有效识别照片、视频、面具、仿真模型等，特别是本事件中出现的换脸、变声欺诈行为。” 马上消费人工智能研究院智能核身专家冯月表示，”马上消费金融基于此类技术创新，目前能够做到将99％的批量欺诈攻击拦截在外，有效防范伪造信息、中介代办、伪冒申请、多头借贷、电信诈骗等风险。“
相较于处于整体环节末端的金融机构，更前一步的，社交软件有义务引入鉴伪机制，并实时对用户进行通话鉴真提醒，标记对端用户是否有行为异常、图像伪造异常、声音伪造异常。更早的风险提示信息，可以更有效地阻隔风险结果的发生。
除平台方面的相关落地，公众也可以采取一些自救措施，目前有一类技术可以保障用户的数据不被用于换脸、变声，这类技术叫对抗样本技术。以人脸图像为例，通过对该图像混入肉眼不可见的对抗扰动蒙版，可以使换脸技术失效。用户可以使用该类技术对自己社交媒体公开的图像、语音等媒体信息进行对抗保护后再公开。
最后，“防范意识”是一切“魔法”的基石，公众也需加强对于个人物品、信息的安全性保护。
“不要随便点击不明的短信链接、邮件链接等，不随意扫描不明来源二维码、下载APP，不轻易提供人脸等个人生物信息给他人，不轻易透露自己的身份证、银行卡、验证码等信息，不过度公开或分享动图、视频等。”冯月建议。”无法保证手机等移动设备不丢失，可以在平时定期清理微信聊天记录，具有亲近关系的人隐藏相关痕迹，将手机相册加密、或者启动手机的数据保护功能等，这些日常行为都有可能将诈骗拦截在外。“
久久为功、循序渐进。防范人工智能技术被“恶用”，仍将是数字化时代下的核心课题。
来源：金融界资讯
