0

0

在企业中使用人工智能驱动的聊天机器人的风险

WBOY

WBOY

发布时间:2023-04-25 21:01:13

|

2122人浏览过

|

来源于51CTO.COM

转载

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

在企业中使用人工智能驱动的聊天机器人的风险

自2022年11月ChatGPT正式推出以来,已有数百万用户疯狂涌入。由于其出色的类人语言生成能力,编程软件的天赋,以及闪电般的文本分析能力,ChatGPT已经迅速成为开发人员、研究人员和日常用户的首选工具。

与任何颠覆性技术一样,像ChatGPT这样的生成式人工智能系统也存在潜在风险。特别是,科技行业的主要参与者、国家情报机构和其他政府机构都对将敏感信息输入ChatGPT等人工智能系统发出了警告。

对ChatGPT存在安全风险的担忧源于信息可能会通过ChatGPT最终泄露到公共领域,无论是通过安全漏洞还是使用用户生成的内容来“训练”聊天机器人。

为了应对这些担忧,技术公司正在采取行动,减轻与大型语言模型(LLMs)和会话式AI (CAI)相关的安全风险。一些企业甚至已经选择完全禁用ChatGPT,而其他企业则警告其员工将机密数据输入此类模型的危险。

ChatGPT:一个可怕的开放AI?

人工智能驱动的ChatGPT已经成为企业优化运营和简化复杂任务的流行工具。然而,最近的事件凸显了通过该平台分享机密信息的潜在危险。

令人不安的是,在不到一个月的时间里,就报告了三起通过ChatGPT泄露敏感数据的事件。韩国媒体报道称,智能手机制造商三星(Samsung)主要半导体工厂的员工将机密信息(包括用于解决编程错误的高度敏感源代码)输入人工智能聊天机器人,引发了争议。

源代码是任何技术公司最严密保护的秘密之一,因为它是任何软件或操作系统的基础构件。而现在,如此宝贵的商业机密无意中落入了OpenAI的手中。

据知情人士透露,三星目前已经限制了其员工访问ChatGPT的权限。

包括亚马逊(Amazon)、沃尔玛(Walmart)和摩根大通(JPMorgan)在内的其他《财富》500强企业集团,也遇到过员工不小心将敏感数据输入聊天机器人的类似情况。

之前也出现过有关亚马逊员工使用ChatGPT获取机密客户信息的报道,此事促使这家科技巨头迅速限制了该工具的使用,并严厉警告员工不要将任何敏感数据输入该工具。

“不完美”的模型:缺乏智慧的知识库

人工智能驱动的数字体验平台Coveo的机器学习总监Mathieu Fortier表示,GPT-4和LLaMA等LLMs存在多个不完美之处,并警告说,尽管它们在语言理解方面很出色,但这些模型缺乏识别准确性、不变定律、物理现实和其他非语言方面的能力。

虽然LLM通过训练数据构建了广泛的内在知识库,但它们没有明确的真理或事实准确性概念。此外,它们很容易受到安全漏洞和数据提取攻击,而且容易偏离预期的反应或表现出“精神错乱的”特征——专业名称为“幻觉”。

Fortier强调了企业面临的高风险。其后果可能会严重破坏客户的信任,并对品牌声誉造成不可挽回的损害,导致重大的法律和财务问题。

紧跟其他科技巨头的脚步,这家零售巨头的科技部门沃尔玛全球科技(Walmart Global tech)已采取措施降低数据泄露的风险。在给员工的一份内部备忘录中,该公司指示员工在检测到可能危及企业数据和安全的可疑活动后,立即屏蔽ChatGPT。

沃尔玛的一位发言人表示,尽管该零售商正在基于GPT-4的功能创建自己的聊天机器人,但它已经实施了多项措施,以保护员工和客户数据不被ChatGPT等生成式人工智能工具传播。

该发言人表示,“大多数新技术带来了新的好处,也带来了新的风险。因此,我们会评估这些新技术,并为我们的员工提供使用指南,以保护我们的客户、会员和员工的数据,这并不罕见。利用现有技术(如Open AI),并在其上构建一个更有效地与零售商沟通的层,使我们能够开发新的客户体验,并改善现有能力。”

除此之外,Verizon和Accenture等其他公司也采取了限制ChatGPT使用的措施,Verizon指示其员工将聊天机器人限制在非敏感任务上,Accenture则实施了更严格的控制,以确保遵守数据隐私法规。

ChatGPT如何使用会话数据

更令人担忧的是,ChatGPT会保留用户输入数据以进一步训练模型,这引发了关于敏感信息可能通过数据泄露或其他安全事件暴露的问题。

ShoopD 网上商店系统
ShoopD 网上商店系统

用 php + mysql 驱动的在线商城系统,我们的目标为中国的中小企业及个人提供最简洁,最安全,最高效的在线商城解决方案,使用了自建的会员积分折扣功能,不同的会员组有不同的折扣,让您的商店吸引更多的后续客户。 系统自动加分处理功能,自动处理会员等级,免去人工处理的工作量,让您的商店运作起来更方便省事 采用了自建的直接模板技术,免去了模板解析时间,提高了代码利用效率 独立开发的购物车系统,使用最

下载

OpenAI是流行的生成式人工智能模型ChatGPT和DALL-E背后的公司,最近实施了一项新政策,以改善用户数据隐私和安全性。

从今年3月1日起,API用户必须明确选择共享他们的数据以训练或改进OpenAI的模型。

相比之下,对于非API服务,如ChatGPT和DALL-E,如果用户不希望OpenAI使用他们的数据,则必须选择退出。

OpenAI公司在最近更新的博客中称,“当您使用我们的非API消费者服务ChatGPT或DALL-E时,我们可能会使用您提供的数据来改进我们的模型。与我们共享您的数据不仅有助于我们的模型变得更准确,更好地解决您的具体问题,还有助于提高它们的总体能力和安全性……您可以通过填写这张表格,填写您的组织ID和与帐户所有者关联的电子邮件地址,来请求退出使用您的数据来改善我们的非API服务。”

这一声明是在对上述风险的担忧以及公司在处理敏感信息时需要谨慎的情况下发布的。意大利政府最近加入了这场争论,在全国范围内禁止使用ChatGPT,理由是担心数据隐私和安全。

OpenAI表示,它从用于改进其人工智能模型的数据中删除了任何个人身份信息,并且仅为此目的使用来自每个客户的一小部分数据样本。

政府警告

英国政府通信总部(GCHQ)情报机构通过其国家网络安全中心(NCSC)发布了一份关于ChatGPT等大型语言模型(LLMs)的局限性和风险的警告。虽然这些模型因其令人印象深刻的自然语言处理能力而受到称赞,但NCSC警告说,它们并非绝对正确,可能包含严重的缺陷。

根据NCSC的说法,LLM可以生成不正确或“幻觉”的事实,正如Google Bard聊天机器人的第一次演示所展示的那样。它们也会表现出偏见和轻信,尤其是在回答引导性问题时。此外,这些模型需要大量的计算资源和大量的数据来从头开始训练,并且它们很容易受到注入攻击和有毒内容创建的影响。

Coveo公司的Fortier表示,“LLM根据提示(prompt)与内部知识的内在相似性来生成对提示的响应。然而,鉴于它们没有内在的内部‘硬规则’(hard rule)或推理能力,它们不可能100%成功地遵守不披露敏感信息的约束。尽管有努力减少敏感信息的生成,但如果LLM使用这些数据进行训练,它可以重新生成这些信息。唯一的解决办法就是不要用敏感材料来训练这些模型。用户还应避免在提示中向它们提供敏感信息,因为目前大多数服务都会将这些信息保存在它们的日志中。”

生成式人工智能安全和道德使用的最佳实践

随着企业继续采用人工智能和其他新兴技术,确保适当的安全措施来保护敏感数据并防止机密信息的意外泄露将至关重要。

这些公司采取的行动凸显了在使用ChatGPT等人工智能语言模型时保持警惕的重要性。虽然这些工具可以极大地提高效率和生产力,但如果使用不当,它们会带来重大风险。

会话式人工智能初创公司Got it AI的董事长Peter Relan建议称,“最好的方法是将语言模型原始改进中的每一个新发展都纳入到企业策略驱动的架构中,该架构将一个语言模型与用于防护的预处理器和后处理器结合起来,针对特定于企业的数据对它们进行微调,然后甚至还可以进行本地部署。否则,原始语言模型太强大了,有时在企业中处理是有害的。”

英伟达支持的对话式人工智能平台Kore. ai的首席技术官Prasanna Arikala表示,未来,公司将有必要限制LLM访问敏感和个人信息,以避免违规。

Arikala指出,“实施严格的访问控制,如多因素身份验证,以及对敏感数据进行加密,可以帮助缓解这些风险。此外,还需要定期进行安全审计和漏洞评估,以识别和消除潜在的漏洞。如果使用得当,LLM是很有价值的工具,但对于公司来说,采取必要的预防措施来保护敏感数据并保持客户和利益相关者的信任至关重要。”

这些法规将如何演变还有待观察,但企业必须保持警惕,保持领先地位。生成式人工智能在带来潜在好处的同时,也带来了新的责任和挑战,技术行业需要与政策制定者一起努力,确保以负责任和合乎道德的方式开发和实施这项技术。

相关专题

更多
人工智能在生活中的应用
人工智能在生活中的应用

人工智能在生活中的应用有语音助手、无人驾驶、金融服务、医疗诊断、智能家居、智能推荐、自然语言处理和游戏设计等。本专题为大家提供人工智能相关的文章、下载、课程内容,供大家免费下载体验。

451

2023.08.17

人工智能的基本概念是什么
人工智能的基本概念是什么

人工智能的英文缩写为AI,是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学;该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

309

2024.01.09

人工智能不能取代人类的原因是什么
人工智能不能取代人类的原因是什么

人工智能不能取代人类的原因包括情感与意识、创造力与想象力、伦理与道德、社会交往与沟通能力、灵活性与适应性、持续学习和自我提升等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

632

2024.09.10

Python 人工智能
Python 人工智能

本专题聚焦 Python 在人工智能与机器学习领域的核心应用,系统讲解数据预处理、特征工程、监督与无监督学习、模型训练与评估、超参数调优等关键知识。通过实战案例(如房价预测、图像分类、文本情感分析),帮助学习者全面掌握 Python 机器学习模型的构建与实战能力。

34

2025.10.21

ChatGPT注册
ChatGPT注册

ChatGPT注册方法:1、访问OpenAI的官方网站,进入注册页面;2、完成注册后收到一份邮件,打开后点击验证账号;3、选择一个适合您需求的订阅计划;4、获得访问ChatGPT的权限即可。

536

2023.09.12

国内免费ChatGPT大全
国内免费ChatGPT大全

ChatGPT是一种基于深度学习技术的自然语言处理模型,由OpenAI开发。它是GPT的一个变体,专门设计用于生成上下文相关的文本回复。ChatGPT被训练成一个聊天机器人,可以与用户进行对话交互。更多关于ChatGPT的文章详情请查看本专题,希望对大家能有所帮助。

577

2023.10.25

手机安装chatgpt的方法
手机安装chatgpt的方法

手机安装chatgpt的方法:1、在ChatGTP官网或手机商店上下载ChatGTP软件;2、打开后在设置界面中,选择语言为中文;3、在对局界面中,选择人机对局并设置中文相谱;4、开始后在聊天窗口中输入指令,即可与软件进行交互。想了解更多chatgpt的相关内容,可以阅读本专题下面的文章。

2847

2024.03.05

chatgpt国内可不可以使用
chatgpt国内可不可以使用

chatgpt在国内可以使用,但不能注册,港澳也不行,用户想要注册的话,可以使用国外的手机号进行注册,注意注册过程中要将网络环境切换成国外ip。想了解更多chatgpt的相关内容,可以阅读本专题下面的文章。

1027

2024.03.05

c++ 根号
c++ 根号

本专题整合了c++根号相关教程,阅读专题下面的文章了解更多详细内容。

57

2026.01.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Rust 教程
Rust 教程

共28课时 | 4.8万人学习

PHP自制框架
PHP自制框架

共8课时 | 0.6万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 810人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号