大型语言模型 (LLM) 和 AI 聊天机器人引起了全世界的兴趣，原因是 2022 年底发布的 ChatGPT 及其提供的查询便利性。它现在是有史以来增长最快的消费者应用程序之一，它的受欢迎程度正促使许多竞争对手开发他们自己的服务和模型，或者快速部署他们一直在内部开发的服务和模型。
与任何新兴技术一样，人们总是担心这对安全意味着什么。该博客在近期更广泛地考虑了 ChatGPT 和 LLM 的一些网络安全方面。
什么是 ChatGPT，什么是LLMs？
ChatGPT 是由美国科技初创公司 OpenAI 开发的人工智能聊天机器人。它基于GPT-3，这是一种于 2020 年发布的语言模型，它使用深度学习来生成类似人类的文本，但底层的 LLM 技术已经存在了很长时间。
法学硕士是算法在大量基于文本的数据上进行训练的地方，这些数据通常是从开放的互联网上抓取的，因此涵盖了网页和——取决于法学硕士——其他来源，如科学研究、书籍或社交媒体帖子. 这涵盖了如此大量的数据，以至于不可能在摄取时过滤掉所有令人反感或不准确的内容，因此“有争议的”内容很可能包含在其模型中。
这些算法分析不同单词之间的关系，并将其转化为概率模型。然后可以给算法一个“提示”（例如，通过问它一个问题），它会根据其模型中单词的关系提供答案。
通常，其模型中的数据在训练后是静态的，尽管它可以通过“微调”（对额外数据进行训练）和“提示增强”（提供有关问题的上下文信息）进行改进。提示增强的示例可能是：
Taking into account the below information, how would you describe...
然后将可能大量的文本（或整个文档）复制到提示/问题中。
ChatGPT有效地允许用户向 LLM 提问，就像您在与聊天机器人进行对话时一样。最近的其他 LLM 示例包括Google 的 Bard和Meta 的 LLaMa（用于科学论文）的公告。
法学硕士无疑令人印象深刻，因为它们能够以多种人类和计算机语言生成大量令人信服的内容。然而，它们不是魔法，也不是通用人工智能，并且包含一些严重的缺陷，包括：
- 他们可能会弄错事情并“产生幻觉”不正确的事实
- 他们可能有偏见，通常容易上当受骗（例如，在回答主要问题时）
- 他们需要巨大的计算资源和海量数据来从头开始训练
- 他们可以被哄骗创造有毒内容并且容易受到“注射攻击”
LLM 会泄露我的信息吗？
一个普遍的担忧是 LLM 可能会从您的提示中“学习”，并将该信息提供给查询相关内容的其他人。这里有一些令人担忧的原因，但不是出于许多人考虑的原因。当前，对 LLM 进行训练，然后查询生成的模型。LLM 不会（在撰写本文时）自动将查询中的信息添加到其模型中以供其他人查询。也就是说，在查询中包含信息不会导致该数据被并入 LLM。
但是，查询将对提供 LLM 的组织可见（对于 ChatGPT，对 OpenAI 也是如此）。这些查询被存储起来，几乎肯定会在某个时候用于开发 LLM 服务或模型。这可能意味着 LLM 提供者（或其合作伙伴/承包商）能够读取查询，并可能以某种方式将它们合并到未来的版本中。因此，在提出敏感问题之前，需要彻底了解使用条款和隐私政策。
一个问题可能是敏感的，因为查询中包含数据，或者因为谁（以及何时）提出问题。后者的例子可能是，如果发现 CEO 曾问过“如何最好地解雇员工？”，或者有人问了暴露健康或人际关系的问题。还要记住使用同一登录名跨多个查询聚合信息。
另一个风险随着越来越多的组织生产 LLM 而增加，它是在线存储的查询可能被黑客攻击、泄露，或者更有可能意外地公开访问。这可能包括潜在的用户身份信息。另一个风险是 LLM 的运营商后来被一个组织收购，该组织采用与用户输入数据时不同的隐私方法。
因此，NCSC 建议：
- 不要在对公共 LLM 的查询中包含敏感信息
- 不要向公开的 LLM 提交会导致问题的查询
我如何安全地向 LLM 提供敏感信息？
随着 LLM 的兴起，许多组织可能想知道他们是否可以使用 LLM 来自动化某些业务任务，这可能涉及通过微调或及时扩充来提供敏感信息。虽然不建议将此方法用于公共 LLM，但“私有 LLM”可能由云提供商提供（例如），或者可以完全自行托管：
- 对于云提供的 LLM，使用条款和隐私政策再次成为关键（因为它们对于公共 LLM），但更有可能符合云服务的现有条款。组织需要了解如何管理用于微调或提示扩充的数据。供应商的研究人员或合作伙伴是否可以使用它？如果是这样，以什么形式？数据是单独共享还是与其他组织汇总共享？提供商的员工在什么情况下可以查看查询？
- 自托管 LLM可能非常昂贵。但是，经过安全评估，它们可能适合处理组织数据。特别是，组织应参考我们关于保护基础设施和数据供应链的指南。
LLMs是否让网络罪犯的生活更轻松？
已经有一些令人难以置信的演示证明 LLM 如何帮助编写恶意软件。令人担忧的是，LLM 可能会帮助怀有恶意（但技能不足）的人创建他们原本无法部署的工具。在他们目前的状态下，LLMs 看起来令人信服（无论他们是否），并且适合简单的任务而不是复杂的任务。这意味着 LLM 可用于“帮助专家节省时间”，因为专家可以验证 LLM 的输出。
对于更复杂的任务，专家目前更容易从头开始创建恶意软件，而不必花时间纠正 LLM 生成的内容。但是，能够创建功能强大的恶意软件的专家很可能能够诱使 LLM 编写功能强大的恶意软件。“使用 LLM 从头开始创建恶意软件”和“验证 LLM 创建的恶意软件”之间的权衡将随着 LLM 的改进而改变。
也可以询问LLM以就技术问题提出建议。犯罪分子可能会使用 LLM 来帮助进行超出其当前能力的网络攻击，尤其是在攻击者访问网络后。例如，如果攻击者正在努力提升权限或查找数据，他们可能会询问 LLM，并收到与搜索引擎结果不同但具有更多上下文的答案。当前的 LLM 提供了听起来令人信服的答案，但可能只是部分正确，尤其是当该主题变得更加利基时。这些答案可能会帮助犯罪分子进行他们无法以其他方式执行的攻击，或者他们可能会建议采取哪些行动来加快对犯罪分子的侦查。无论哪种方式，攻击者的查询都可能被 LLM 操作员存储和保留。
由于 LLM 擅长按需复制写作风格，因此存在犯罪分子使用 LLM 编写令人信服的网络钓鱼电子邮件（包括多种语言的电子邮件）的风险。这可以帮助具有高技术能力但缺乏语言技能的攻击者，帮助他们使用目标的母语创建令人信服的网络钓鱼电子邮件（或进行社会工程）。
总而言之，在短期内我们可能会看到：
- 由于 LLM，更有说服力的网络钓鱼电子邮件
- 攻击者尝试他们以前不熟悉的技术
技能较低的攻击者编写功能强大的恶意软件的风险也很低。
总结
对于LLM来说，这是一个激动人心的时刻，尤其是 ChatGPT 吸引了全世界的想象力。与所有技术发展一样，会有人热衷于使用它并研究它所提供的功能，以及可能永远不会使用它的人。
正如我们在上面概述的那样，毫无疑问，不受限制地使用公共 LLM 存在风险。个人和组织应格外小心他们选择在提示中提交的数据。您应该确保那些想要尝试 LLM 的人能够，但不会将组织数据置于风险之中。
NCSC 意识到与网络安全和 LLM 的采用有关的其他新出现的威胁（和机会），我们当然会在以后的博文中让您了解这些。
——编译自英国NCSC
