据科技日报，生成式人工智能（ai）横空出世后，除了可能对部分职业岗位有所波及、对现有的版权制度形成新的挑战外，还能被用于社交媒体上的虚假信息活动，既造成了新的危险，也放大了现有的危险，进而危害经济和社会的稳定。
基于现实情况进行合理预测，AI加持下的虚假信息活动可能主要应用于以下4个方面：
①炮制假新闻。
这里主要针对官媒新闻进行歪曲和篡改，淘汰以往“开局一张图，剩下全靠编”的落后的内容生产方式，改为设定要求——输入部分素材——自动生成图文/视频的全自动化模式。
②.散播谣言。
制造假消息快、自动化+批量化传播扩散快，如果再加上由深谙新媒体、社媒调性机制，且深谙传播学或新闻学理论的“专业人士”操刀，便能实现“谎言重复一千遍，就会成为真理”的效果。另外，由于谣言还具有极强的噱头性，天然容易在互联网传播中获得极大的关注度和讨论度，与此截然相反的，却是辟谣不仅要“跑断腿”，还因为“太正”而没人看。
③结合生成式AI与社媒特性，推行“垃圾信息海”战术。
向全网灌注娱乐新闻、八卦信息等“奶头乐”内容，占据用户全部视野，以驱除正经新闻和消息，彻底掌握社媒中流通信息的支配权。通过与娱乐公司展开深度合作，幕后推手能够在完成既定战术目标的同时获得额外的收益。
④利用深度合成技术仿冒账号，搅乱正常社媒秩序。
爬取机关、企业、机构、社会组织、名人/大V/意见领袖等官方账号和个人账号的信息，包括但不限于图文、露脸形象、声音等，凭借这些语料和素材生成虚假内容，既能为事主招黑，还能挑起事端、搅乱风波、以假乱真。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
更关键的是，为牟利也好，为达成其别有用心的目的也罢，虚假信息的制造者和传播者的行为本就非法，自然会无视法律法规、平台规定等束缚，于是便产生了3大难点——审核难、监管难、处罚难。
①审核难。
目前各平台对生成式AI内容的要求，主要可以概括为“上传者自律”，也就是该用户主动做出醒目标识，向受众明示其内容为AI制作，如此规定“防君子不防小人”。正常用户当然依规行事，不法用户则完全可以不标、缓标、少标。
②监管难。
在AI应用于内容生成领域之前，众所周知网上假新闻已经像野草一样层出不穷，难以根除。对此，传统的治理方式为大数据筛查+受理举报相结合，并重点打击违规账号、重点标记其关联账号，这是堂堂正正的处置之道，无可指摘。可问题就在于不法用户引入AI后，如果将之前的状态看成零星的、点状的野火，那此后需要处理和整治的虚假信息，将变成片的大火，治理所耗费的人力、物力、难度呈指数级上升。
③处罚难。
最终，惩罚存在两个问题，一是配套法律法规不够完备，二是由于隐秘性而难以抓取的问题。不过，不久前关于反网暴的适用法律条文已面向社会收集意见，相信很快就能具体落地。预计随着AI生成虚假信息治理工作的推进，相关的法治建设也会紧随其后。
阿知曾多次在关于生成式AI的问题中提及，AI与以往历史上出现的新技术没有本质不同，无关对错和善恶，关键是要看谁来用、怎么用。其作为互联网行业新引擎、金融市场中的新蓄水池作用当然毋庸置疑，但一味地、片面地强调其技术优越性多为投机主义者所为，图利而已。我们必须客观全面地看待生成式AI这项革新性技术，并采取预防措施，以避免其滥用所带来的风险。
