大数据文摘出品
ChatGPT很好玩，但是终于是出问题了。
作为一款几乎全能的语言类AI，ChatGPT可以回答各种问题、可以帮你写文章，还能帮你写代码。
等等，写代码？
如果有人想让ChatGPT写一个恶意代码去攻击别人，结果会怎么样？
近期，安全研究员、 Picus Security的联合创始人Suleyman Ozarslan博士最近成功使用ChatGPT创建了一段钓鱼代码，居然还是世界杯主题的。
我们一起来看看。
如何使用ChatGPT创建勒索软件和钓鱼电子邮件
“我们从一个简单的练习开始，看看 ChatGPT 是否能创建一个可信的钓鱼活动，结果确实如此。我输入了一个提示，写了一封世界杯主题的电子邮件，用于仿真网络钓鱼，它在几秒钟内创建了一个完美的英语电子邮件。”Suleyman Ozarslan说。
Ozarslan给ChatGPT提示说，他是一个模拟攻击攻击的安全研究员，他们想开发一个模拟钓鱼攻击的工具，请帮忙写一个关于世界杯的钓鱼邮件来模拟钓鱼攻击。
于是，ChatGPT就真的写了一段。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
也就是说，虽然ChatGPT认识到“网络钓鱼攻击可能被用于恶意目的，并可能对个人和组织造成伤害”，但它仍然生成了电子邮件。
在完成这个练习之后，Ozarslan要求ChatGPT编写Swift代码，在MacBook上加密 Office 文件之前，这个代码可以在MacBook上找到微软Office文件并通过HTTPS发送到网络服务器。
很顺利的，ChatGPT的解决方案生成了示例代码，并且没有任何警告或提示。
Ozarslan的研究实践表明，网络犯罪分子可以很容易地绕过OpenAI的保护，比如将自己定位为研究人员，来模糊他们的恶意意图。
网络犯罪数量的上升使天平失衡
由上面的例子可以看出，从网络安全的角度来看，OpenAI的创造带来的核心挑战是，任何人，无论其技术专长如何，都可以根据需要创建生成恶意软件和勒索软件的代码。
虽然ChatGPT确实也为安全团队提供了积极的好处（比如AI筛查邮件），但也确实降低了网络犯罪分子的进入门槛，有可能加速威胁领域的复杂性，而不是减少这种复杂性。
例如，网络犯罪分子可以利用人工智能来增加野外网络钓鱼威胁的数量，这不仅已经让安全团队不堪重负，而且只需要成功一次就能造成损失数百万美元的数据泄露。
IRONSCALES电子邮件安全供应商Lomy Ovadia研发部门的CVP表示：“在网络安全方面，ChatGPT提供给攻击者的东西远远多于攻击目标。”
Ovadia说:“对于商业电子邮件攻击(BEC)来说尤其如此，这种攻击依赖于使用欺骗性内容来冒充同事、公司VIP、供应商甚至客户。”
Ovadia认为，如果CISO和安全领导者依靠基于策略的安全工具来检测AI/GPT-3生成内容的钓鱼攻击，那么他们将被淘汰，因为这些AI模型使用先进的自然语言处理(NLP)来生成几乎不可能与真实例子区分开来的骗局电子邮件。
例如，今年早些时候，新加坡政府科技署(Government Technology Agency)的安全研究人员创建了200封钓鱼电子邮件，并将点击率与深度学习模型GPT-3创建的电子邮件进行了比较，发现点击人工智能生成的钓鱼电子邮件的用户比人类用户多。
好消息是什么？
虽然生成式 AI 确实给安全团队带来了新的威胁，但它也提供了一些积极的用例。例如，分析人员可以在部署之前使用该工具检查开放源代码中的漏洞。
“今天，我们看到有道德的黑客使用现有的人工智能来帮助编写漏洞报告，生成代码样本，并识别大型数据集的趋势。这一切都在说，当今人工智能的最佳应用是帮助人类做更多人类的事情。”HackerOne的解决方案架构师Dane Sherrets说。
然而，试图利用ChatGPT这样的生成式AI解决方案的安全团队仍然需要确保充分的人工监督，以避免潜在的问题。
尽管ChatGPT所代表的进步令人兴奋，但技术尚未发展到完全自动运行。对于人工智能的运作，它需要人类的监督，一些手工配置，并不总是能够依靠绝对最新的数据和智能来运行和训练。
正是出于这个原因，Forrester 建议实现生成式人工智能的组织应该部署工作流和治理来管理人工智能生成的内容和软件，以确保其准确性，并减少发布带有安全或性能问题的解决方案的可能性。
不可避免的是，ChatGPT这样的AI的真正风险将取决于攻防双方在AI战争中谁能更有效地利用自动化。
相关报道：https://venturebeat.com/security/chatgpt-ransomware-malware/
