Scaling Law撞墙？预训练终结？亚马逊云科技为什么还在做基础大模型

花韻仙語

发布时间：2024-12-19 08:31:34

512人浏览过

来源于php中文网

原创

亚马逊云科技在re:invent 2024大会上发布了令人瞩目的nova系列大模型，引发业界热议。此举尤其令人意外，因为亚马逊此前已重金投资anthropic。然而，本文将阐述亚马逊持续投入基础大模型的战略考量，以及其对市场和创业者的深远影响。

BlackBox AI

AI编程助手，智能对话问答助手

下载

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

*亚马逊总裁兼CEO安迪·贾西（Andy Jassy）发布了Nova系列模型，包含Micro、Lite、Pro和Premier四个版本，其中后三个为多模态模型。*

尽管亚马逊并非首次发布基础大模型（此前已有Titan系列），但面对“Scaling Law撞墙论”的争议，许多人认为继续投入基础模型训练并不经济。然而，亚马逊云科技显然并未因此止步。从re:Invent大会后的研讨会讨论可见，亚马逊坚信基础大模型潜力巨大，并认为其对自身及AI创业者都具有重要价值。

**“Scaling Law撞墙”并非阻碍，基础大模型仍有巨大潜力**

关于Scaling Law是否撞墙的争论持续不断，直接影响着AI领域的资源分配。然而，目前尚未得出明确结论。亚马逊云科技的Nova系列模型发布，正体现了其对基础大模型前景的乐观态度。亚马逊云科技大中华区产品部总经理陈晓建认为，基础大模型仍处于早期阶段，远未成熟。

Sam Altman和Ilya Sutskever对Scaling Law的不同观点

*OpenAI CEO Sam Altman坚信“没有墙”，而著名研究者Ilya Sutskever则认为“我们所知的预训练将会终结”。*

事实上，亚马逊并非孤例。苹果、微软、谷歌、Meta以及国内的字节跳动、阿里巴巴和腾讯等巨头都在积极布局基础大模型。陈晓建表示，亚马逊内部对发展基础大模型高度一致。

关于Scaling Law撞墙的担忧主要集中在数据方面。有研究预测，以目前的LLM发展速度，到2028年左右，现有数据将被耗尽。Ilya Sutskever也认为数据如同化石燃料，终将枯竭。然而，公共互联网数据并非全部数据。大量未数字化或未公开的数据，如纸质文献、机密数据、物联网数据和行业数据等，依然存在。

*论文《Will we run out of data? Limits of LLM scaling based on human-generated data》*

此外，人类每天都在产生大量新数据，虽然大部分质量不高或重复，但新技术的广泛应用也会创造高质量数据。量子计算、生物技术等新兴领域都可能成为下一代AI的重要数据来源。因此，即使公共互联网数据耗尽，基础大模型的发展也不会停滞。

陈晓建也强调了数据的重要性：“数据资产才是实现业务差异化的关键。” 此外，现有数据是否被充分利用也值得探讨。随着模型规模扩大和编码技术进步，基础大模型或许能从现有数据中挖掘更多价值。利用AI合成高质量数据也是一个重要的探索方向。

*亚马逊云科技开源的利用Amazon Bedrock生成合成数据集的项目架构*

因此，“Scaling Law撞墙论”并不能动摇亚马逊等科技巨头对基础大模型的投入。亚马逊不仅看到了基础模型的当前价值，更看到了未来突破的可能性。

在re:Invent大会上，亚马逊发布了多款与数据相关的产品，包括Kendra Index、结构化数据检索能力、GraphRAG技术、数据增强功能以及升级版的SageMaker。陈晓建表示，这些工具旨在帮助用户更方便地将私有数据与大模型整合。

*下一代Amazon SageMaker概况，来自亚马逊云科技re:Invent 2024*

亚马逊云科技还在积极探索其他技术方向，例如思维链推理能力和Automated Reasoning checks服务，以减少大模型幻觉并提高准确性。

**利己也利创业者：提供市场选择**

亚马逊投入基础大模型首先是为了自身利益。中小企业缺乏资源自主训练大模型，因此To B的大模型市场需求旺盛。亚马逊作为云服务巨头，自然不会错过这一机遇。

*亚马逊云科技继续维持在云市场的领先地位，来自Statista*

对用户，特别是创业者而言，亚马逊的基础模型提供了强有力的替代选项，降低了进入门槛。Nova Pro和Nova Lite等不同规模的模型满足不同需求。对于预算有限的创业公司来说，这是快速部署和创新的解决方案。

*使用Nova Pro执行文档分析示例，来自亚马逊云科技博客*

此外，替代选项也增强了业务安全性和多样性，从而激发创新。亚马逊云科技中国区技术合作伙伴总监李奔也提到了这一点。

亚马逊云科技通过Nova系列为企业用户带来了新的可能性，并推动了市场的良性竞争。从亚马逊自身角度来看，其战略考量还包括：强化云服务生态、数据和技术的长远布局、参与行业标准定义、增强内部服务和产品以及应对竞争压力。

**基础大模型体现了亚马逊的长期主义**

“长期主义”是亚马逊的企业文化。构建基础大模型需要大量资源，亚马逊的持续投入展现了其责任感和前瞻性。Nova系列模型的推出，不仅体现了亚马逊的技术创新，更降低了开发者和企业的进入门槛，为创业公司提供了灵活的替代方案，这正是“长期主义”的体现。

亚马逊云科技在基础大模型道路上的坚持，不仅能巩固自身市场地位，还能帮助更多企业进入AI应用生态，提升市场活力和创造力。这是亚马逊云科技的重要贡献。

deepseek提示词 DeepSeek高质量提示词大全

豆包AI生成的日报周报太简单_提供具体的数据指标并要求AI进行深入的对比分析

Ai一键文生图哪个软件好用_Ai一键文生图优质软件推荐【盘点】

AI生成产品众筹页面的项目介绍

deepseek完整指令手册 DeepSeek指令全攻略

相关专题

物联网有哪些应用

物联网应用有智能家居、智慧城市、工业自动化、农业智能化、物流和供应链管理、医疗健康、智能交通、能源管理、环境监测、智能零售等等。详细介绍：1、智能家居，物联网技术可以将家庭中的各种设备和家居系统连接到互联网，实现智能化的家居控制和管理，例如，通过智能手机可以远程控制家中的照明、温度、安防系统等；2、智慧城市，物联网技术可以应用于城市基础设施和公共服务，实现智慧城市的建设等等。

231

2023.09.05

物联网中的m2m概念

M2M是人与机器连接的手段与方式。想了解更多的相关内容，可以阅读本专题下面的文章。

422

2024.03.12

物联网应用岗位

常见岗位包括：物联网架构师；物联网工程师；数据分析师；云计算工程师；应用程序开发人员；嵌入式系统工程师；网络安全分析师；产品经理；物联网项目经理；业务分析师等等。想了解更多物联网应用的相关内容，可以阅读本专题下面的文章。

405

2024.05.21

clawdbot ai使用教程保姆级clawdbot部署安装手册

Clawdbot是一个“有灵魂”的AI助手，可以帮用户清空收件箱、发送电子邮件、管理日历、办理航班值机等等，并且可以接入用户常用的任何聊天APP，所有的操作均可通过WhatsApp、Telegram等平台完成，用户只需通过对话，就能操控设备自动执行各类任务。

2026.01.29

clawdbot龙虾机器人官网入口 clawdbot ai官方网站地址

clawdbot龙虾机器人官网入口:https://clawd.bot/,clawdbot ai是一个“有灵魂”的AI助手，可以帮用户清空收件箱、发送电子邮件、管理日历、办理航班值机等等，并且可以接入用户常用的任何聊天APP，所有的操作均可通过WhatsApp、Telegram等平台完成，用户只需通过对话，就能操控设备自动执行各类任务。

2026.01.29

Golang 网络安全与加密实战

本专题系统讲解 Golang 在网络安全与加密技术中的应用，包括对称加密与非对称加密（AES、RSA）、哈希与数字签名、JWT身份认证、SSL/TLS 安全通信、常见网络攻击防范（如SQL注入、XSS、CSRF）及其防护措施。通过实战案例，帮助学习者掌握如何使用 Go 语言保障网络通信的安全性，保护用户数据与隐私。

2026.01.29