译者 | 李睿
审校 | 孙淑娟
OpenAI又火了！近期许多人的朋友圈里都混进了一个让人既爱又怕的狠角色，以至于StackOverflow不得不急忙下架。
近日，OpenAI发布了聊天AI ChatGPT，短短几天，其用户量直冲百万级，甚至服务器一度被注册用户挤爆了。
这种被网友惊叹“超越谷歌搜索”的神器究竟怎么做到的？到底靠谱吗？
1、事件回顾
OpenAI公司日前发布了ChatGPT，这是另一个基于旗舰GPT系列的大型语言模型(LLM)，是一个专门用于对话交互的模型。用户可以下载该公司的免费演示版本。
与发布的大多数大型语言模型(LLM)一样，ChatGPT的发布也引发了一些争议。在发布之后的短短几个小时内，这个新的语言模型就在Twitter上引起了轰动，用户纷纷上传ChatGPT令人印象深刻的成就或者遭遇灾难性失败的截图。
然而，从大型语言模型的广泛角度来看，ChatGPT反映了该领域短暂而丰富的历史，代表了在短短几年内取得了多大的进展，以及还有哪些基本问题有待解决。
2、无监督学习的梦想
无监督学习仍然是人工智能社区追求的目标之一，而互联网上有大量宝贵的知识和信息。但直到最近，其中大部分的信息都无法用于机器学习系统。大多数机器学习和深度学习应用程序都是被监督的，这意味着人类必须采集大量数据样本并对每个样本进行注释，以训练机器学习系统。
随着Transformer架构（大型语言模型的关键组件）的出现，这种情况发生了变化。可以使用大量的无标记文本语料库来训练Transformer模型。它们随机屏蔽文本的部分，并试图预测缺失的部分。通过反复执行这一操作，Transformer调整其参数，以表示大序列中不同单词之间的关系。
这已被证明是一种非常有效和可扩展的策略。不需要人工标记，就可以收集非常大的训练语料库，从而允许创建和训练越来越大的Transformer模型。研究和实验表明，随着Transformer模型和大型语言模型（LLM）的规模增大，它们可以生成更长的连贯文本序列。大型语言模型（LLM）还展示了大规模的应急能力。
3、回归监督学习?
大型语言模型（LLM）通常只有文本，这意味着它们缺乏试图模仿的人类丰富的多感官体验。尽管GPT-3等大型语言模型（LLM）取得了令人印象深刻的成果，但它们存在一些基本缺陷，使得它们在需要常识、逻辑、规划、推理和其他知识的任务中无法预测，而这些知识通常在文本中被省略。大型语言模型（LLM）以产生幻觉反应、生成连贯但事实上虚假的文本以及经常误解用户提示的明显意图而闻名。
通过加大模型及其训练语料库的规模，科学家们已经能够减少大型语言模型中明显错误的频率。但根本的问题并没有消失，即使是最大的大型语言模型（LLM）也会在很小的推动下犯愚蠢的错误。
如果大型语言模型（LLM）只在科学研究实验室中用于跟踪基准测试的表现，这可能不会是一个大问题。然而，随着人们对在现实应用中使用大型语言模型（LLM）越来越感兴趣，解决这些问题和其他问题变得更加重要。工程师必须确保他们的机器学习模型在不同的条件下保持健壮，并满足用户的需求和要求。
为了解决这一问题，OpenAI使用了来自人类反馈强化学习(RLHF)技术，该技术此前开发用于优化强化学习模型。人类反馈强化学习(RLHF)不是让强化学习模型随机探索其环境和行为，而是使用来自人类主管的偶尔反馈来引导代理朝正确的方向前进。人类反馈的强化学习(RLHF)的好处是，它能够以极小的人为反馈改善强化学习代理的训练。
OpenAI后来将人类反馈强化学习(RLHF)应用于InstructGPT，这是一个大型语言模型(LLM)系列，旨在更好地理解和响应用户提示中的指令。InstructGPT是一个GPT-3模型，它根据人类反馈进行了微调。
这显然是一种权衡。人工注释可能成为可扩展训练过程中的瓶颈。但通过在无监督学习和有监督学习之间找到正确的平衡，OpenAI能够获得重要的好处，包括更好地响应指令、减少有害输出和资源优化。根据OpenAI的研究结果，13亿个参数的InstructionGPT在指令跟随方面通常优于1750亿个参数GPT-3模型。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
ChatGPT的训练过程
ChatGPT建立在从InstructGPT模型中获得的经验之上。人工注释器创建一组示例对话，其中包括用户提示和模型响应。这些数据用于微调构建ChatGPT所基于的GPT-3.5模型。在下一步中，将为经过微调的模型提供新的提示，并为其提供若干响应。标注人员对这些反应进行排名。然后，从这些交互中生成的数据被用于训练奖励模型，这有助于在强化学习管道中进一步微调大型语言模型(LLM)。
OpenAI尚未披露强化学习过程的全部细节，但人们很想知道这个过程的“不可扩展的成本”，也就是需要多少人力。
4、能在多大程度上信任ChatGPT?
ChatGPT的结果令人印象深刻。该模型已经完成了各种各样的任务，包括提供代码反馈、写诗、用不同的音调解释技术概念、为生成人工智能模型生成提示。
然而，该模型也容易出现类似大型语言模型（LLM）所犯的那种错误，例如引用不存在的论文和书籍，误解直观的物理学，以及在组合性方面失败。
人们对这些失败并不感到惊讶。ChatGPT并没有发挥什么神奇的作用，它应该遇到与它的前一代同样的问题。然而，在现实世界的应用中，可以在哪里以及在多大程度上信任它?显然，这里有一些有价值的内容，正如人们在Codex和GitHubCopilot中所看到的，大型语言模型（LLM）可以被非常有效地使用。
在这里，决定ChatGPT是否有用的是与它一起实现的工具和保护的种类。例如，ChatGPT可能成为为企业创建聊天机器人的一个非常好的平台，例如编码和图形设计的数字伴侣。首先，如果它遵循InstructGPT的示例，那么应该能够以更少的参数获得复杂模型的性能，这将使它具有成本效益。此外，如果OpenAI提供了工具，使企业能够实现自己的人类反馈强化学习(RLHF)的微调，那么它可以进一步针对特定应用程序进行优化，在大多数情况下，这比聊天机器人更有用，聊天机器人可以随意谈论任何事情。最后，如果为应用程序开发人员提供了将ChatGPT与应用程序场景集成，并将其输入和输出映射到特定应用程序事件和操作的工具，他们将能够设置正确的护栏，以防止模型采取不稳定的操作。
基本上，OpenAI创造了一个强大的人工智能工具，但具有明显的缺陷。它现在需要创建正确的开发工具生态系统，以确保产品团队能够利用ChatGPT的力量。GPT-3为许多不可预测的应用开辟了道路，因此了解ChatGPT的库存会很有趣。
