随着 AI 聊天机器人潜力的来龙去脉继续成为头条新闻，围绕 ChatGPT 的狂热仍然处于狂热状态。引起安全领域许多人注意的一个问题是，该技术对敏感业务数据的摄取是否会给组织带来风险。有人担心，如果有人输入敏感信息——季度报告、内部演示材料、销售数字等——并要求 ChatGPT 在其周围书写文本，那么任何人只要向 ChatGPT 询问就可以获得该公司的信息之后。
其影响可能是深远的：想象一下，正在处理一个内部演示文稿，其中包含新的公司数据，揭示了一个要在董事会会议上讨论的公司问题。将这些专有信息泄露出去可能会破坏股价、消费者态度和客户信心。更糟糕的是，泄露的议程上的法律项目可能会使公司承担真正的责任。但是这些事情中的任何一个真的可以仅仅通过放入聊天机器人中的东西而发生吗？
研究公司 Cyberhaven 在 2 月份探索了这一概念，重点关注 OpenAI 如何使用人们输入 ChatGPT 的内容作为训练数据来改进其技术，输出与输入的内容非常相似。Cyberhaven 声称，如果第三方根据高管提供的信息向 ChatGPT 询问某些问题，输入 ChatGPT 的机密数据可能会泄露给第三方。
ChatGPT 不存储用户的输入数据——是吗？
英国国家网络安全中心 (NCSC)在 3 月份分享了对此事的进一步见解，指出 ChatGPT 和其他大型语言模型 (LLM) 目前不会自动将查询中的信息添加到模型中供其他人查询。也就是说，在查询中包含信息不会导致将潜在的私有数据合并到 LLM 中。“但是，查询将对提供 LLM 的组织可见（在 ChatGPT 的情况下，对 OpenAI 也是如此），”它写道。
“这些查询已被存储，几乎肯定会在某个时候用于开发 LLM 服务或模型。这可能意味着 LLM 提供商（或其合作伙伴/承包商）能够读取查询，并可能以某种方式将它们合并到未来的版本中，”它补充道。NCSC 写道，另一个风险随着越来越多的组织生产和使用 LLM 而增加，即在线存储的查询可能被黑客攻击、泄露或意外公开。
最终，对于 ChatGPT 输入和使用的敏感业务数据的担忧是有真正原因的，尽管风险可能不像某些头条新闻所描述的那样普遍。
将敏感数据输入 ChatGPT 的可能风险
法学硕士表现出一种称为情境学习的涌现行为。在会话期间，当模型接收到输入时，它可以根据这些输入中包含的上下文来执行任务。“这很可能是人们担心信息泄露时所指的现象。然而，来自一个用户会话的信息不可能泄露给另一个用户，”WithSecure 的高级研究员 Andy Patel 告诉 CSO。“另一个担忧是，输入到 ChatGPT 界面的提示将被收集并用于未来的训练数据。”
帕特尔说，虽然担心聊天机器人会摄取然后反刍敏感信息是有道理的，但需要训练一个新模型来整合这些数据。训练 LLM 是一个昂贵且漫长的过程，他说如果在不久的将来用 ChatGPT 收集的数据训练模型，他会感到惊讶。“如果最终创建了一个包含收集的 ChatGPT 提示的新模型，我们的恐惧就会转向成员推理攻击。此类攻击有可能暴露训练数据中的信用卡号或个人信息。但是，没有针对支持 ChatGPT 和其他类似系统的 LLM 证明成员推理攻击。” 这意味着未来的模型极不可能容易受到成员推理攻击。
与 AI 的第三方链接可能会暴露数据
Orange Cyberdefense 的高级安全研究员 Wicus Ross 表示，问题最有可能是由未明确声明其隐私政策的外部提供商引起的，因此将它们与其他安全工具和平台一起使用可能会使任何隐私数据面临风险。“Slack 和 Microsoft Teams 等 SaaS 平台具有清晰的数据和处理边界，数据暴露给第三方的风险较低。然而，如果使用需要与用户交互的第三方插件或机器人来增强服务，无论它们是否与人工智能相关联，这些清晰的界限很快就会变得模糊，”他说。“在没有第三方处理者保证信息不会泄露的明确声明的情况下，你必须假设它不再是私人的。”
Netskope 的 EMEA 首席信息安全官 Neil Thacker 告诉 CSO，除了普通用户共享的敏感数据外，公司还应该意识到提示注入攻击，这些攻击可能会泄露开发人员在调整工具时提供的先前指令，或者使其忽略先前编程的指令。“最近的例子包括 Twitter 恶作剧者改变了机器人的行为和Bing Chat 的问题，研究人员在其中找到了一种方法，可以让 ChatGPT 披露之前可能由微软编写的应该隐藏的指令。”
控制提交给 ChatGPT 的数据
据 Cyberhaven 称，敏感数据目前占员工粘贴到 ChatGPT 的内容的 11%，平均每家公司每周向 ChatGPT 泄露敏感数据数百次。“ChatGPT 正在从炒作走向现实世界，组织正在尝试在其业务中实际实施以加入其他基于 ML/AI 的工具，但需要谨慎行事，尤其是在共享机密信息时，”萨克说。“应该考虑数据所有权的各个方面，以及如果托管数据的组织遭到破坏会产生什么潜在影响。作为一项简单的练习，信息安全专业人员至少应该能够识别在这些服务遭到破坏时可能访问的数据类别。”
最终，企业有责任确保其用户充分了解哪些信息应该和不应该向 ChatGPT 披露。NCSC 表示，组织应该非常小心他们选择在提示中提交的数据：“你应该确保那些想要尝试 LLM 的人能够，但不会将组织数据置于风险之中。”
警告员工聊天机器人的潜在危险
然而，Cyberhaven 警告说，识别和控制员工提交给 ChatGPT 的数据并非没有挑战。“当员工将公司数据输入 ChatGPT 时，他们不会上传文件，而是将内容复制并粘贴到他们的网络浏览器中。许多安全产品都是围绕保护文件（标记为机密）不被上传而设计的，但是一旦内容被从文件中复制出来，他们就无法对其进行跟踪，”它写道。此外，Cyberhaven 表示，进入 ChatGPT 的公司数据通常不包含安全工具寻找的可识别模式，例如信用卡号或社会保险号。“在不了解其上下文的情况下，今天的安全工具无法区分输入自助餐厅菜单的人和公司的并购计划。”
Thacker 说，为了提高可见性，组织应该在其安全 Web 网关 (SWG) 上实施策略来识别人工智能工具的使用，并且还可以应用数据丢失防护 (DLP) 策略来识别哪些数据被提交给这些工具。
Jamf 投资组合战略副总裁 Michael Covington 说，组织应该更新信息保护政策，以确保可以接受的机密数据处理程序的应用程序类型得到妥善记录。“控制信息流始于有据可查且知情的政策，”他说。“此外，组织应该探索如何利用这些新技术以深思熟虑的方式改善他们的业务。不要因为恐惧和不确定性而回避这些服务，而是要投入一些人员来探索显示潜力的新工具，这样您就可以及早了解风险，并确保在早期的最终用户采用者想要开始使用这些工具时提供足够的保护”
