AI 发展是否正在放缓?AI 发展将驶向何方?

我爱免费

作者：微信文章
    编者按：人工智能真的已经遇到发展瓶颈了吗？随着 OpenAI、Google 和 Anthropic 等顶级 AI 公司纷纷表示新模型开发收益在减少，这个问题引发了整个行业的深度思考。

    我们今天为大家带来的这篇文章，作者的核心观点是：虽然传统的模型规模扩展策略正在遭遇瓶颈，但这可能正是 AI 发展模式转型的重要契机。

    文章从多个维度深入剖析了当前 AI 发展面临的挑战：首先，训练数据的增长已接近极限，因为“我们只有一个互联网”；其次，简单地增加模型规模带来的收益正在递减；第三，模型的"涌现"能力并不会随着规模扩大而必然出现。面对这些挑战，作者提出了几个潜在的突破方向：探索合成数据的应用、发展推理层面的扩展能力，以及构建更智能的 Agent 系统。

作者 | Lan Chu

编译 | 岳扬



无论人工智能是否能穿越炒作的迷雾，我都感到生活在人类历史上这个有趣的时代是如此幸运。回想五年前我开始接触神经网络时，AI 连识别猫都显得力不从心，那时的技术水平远不如今日。

而如今，我们所做到的事情，对于我们的祖辈来说，恐怕就像是变戏法一样神奇。人工智能行业的飞速发展，让我深感敬佩。但接下来的问题是，这样的发展势头能够持续吗？



Image source: https://ia.samaltman.com/

01

大胆预测

数月前，Sam 大胆预测“超级智能 AI 将在几千天内成为现实”，并声称 AGI（尽管其定义尚不明确）是“现有硬件条件下就能达成的目标”。然而，行业领袖在 AI 发展预测上的表现并不总是那么可靠。一个典型的例子就是过去十年中对自动驾驶汽车的过分乐观预期。因此，这样的预测我们还是应该有所保留。



Source. The Information

很快，情况就出现了变化。OpenAI、Google 和 Anthropic 等领先的 AI 公司纷纷表示，新模型开发的收益正在逐渐减少[1]。Ilya Sutskever 指出，我们在扩大预训练规模上似乎已经触碰到一个瓶颈。现在，一个新的观点正在成为主流，那就是模型扩展似乎已经遇到了障碍。

02

那么，这是否标志着模型扩展的终结？

当前，关于模型扩展的终结似乎成为了热门话题。

在 2010 年代和 2020 年代初期，我们见证了模型扩展的黄金时期。成功的秘诀似乎很简单：将海量数据输入大型神经网络，经过长时间训练，就能目睹奇迹的出现。然而，这种策略最终带来的回报只会递减。那么，未来几年我们还能期待些什么呢？

“所有的传统机器学习模型最终都会遇到增长瓶颈；大语言模型(LLMs)或许也不例外。”

2.1 尽管计算能力在增强，但数据并没有同步增长

我们只有一个互联网，而且已经挖掘了所有可用数据。

语言模型训练数据量的快速增长（先是整个维基百科，接着是社交媒体，最后是大部分互联网内容），如今似乎已经停滞不前。尽管有些公司正在与出版商合作以获取更多数据，但我们必须承认：只有一个互联网，训练数据不可能再有显著的增长。除非，我们开始寻找其他数据源。互联网上除了丰富的文本，还有大量的图片、视频和音频资源。根据 Epoch AI 的一篇文章[2]估算，从在线多模态数据中提取的文本 tokens 数量，可能会比普通网络爬虫数据集多出 5 到 200 倍。

预训练自回归模型的时代终将落幕。— Ilya Sutskever

2.2 那么，接下来要提的就是合成数据了

在 2024 年的 NeurIPS 会议上，Ilya 提到了合成数据的使用是未来的发展方向之一，这当然也是经常被视为持续扩展模型规模的一条路径。其核心思想是，在很多情况下，验证数据的正确性以及评估数据质量相对容易。合成训练数据在某些案例中已经取得了显著成效，比如 AlphaGo[3] 在 2016 年战胜了围棋世界冠军，以及 AlphaZero[4] 和 AlphaProof[5] 通过纯粹在自我生成的数据上训练，学会了玩游戏和解几何题。

在编程领域，合成数据的一个成功案例是 CriticGPT[6]。OpenAI 在一个审查周期内使用两个 ChatGPT 实例，一个负责生成代码，另一个则批判性地审查以便找出代码中的错误。这个想法虽然简单，但正如我们在下图中所见，效果显著！CriticAI 系统发现的问题数量远超人类。



在编程和数学领域，我们可以生成大量示例，并迅速验证哪些是正确的，从而创建一个较小的、更精细且高质量的数据集。但对于其他领域，合成数据的适用性可能就有所限制了。我认为，合成数据的应用程度很大程度上取决于具体领域。
2.3 大模型的收益递减现象

模型的表现不仅会受到训练数据集规模的影响，也会受到模型自身规模的影响（如下图所示）。



测试 loss 值与模型大小及训练数据集规模之间的关系遵循幂律分布。图片来源：作者根据 OpenAI 的数据制作的图像。

长期以来，我们通过无脑地增加模型规模和数据量来提升模型性能，但这种策略的效果已经逐渐减弱。

目前，许多 AI 公司转而致力于开发更小的模型。这些模型可能是性能适中但成本较低的“够用”模型（比如谷歌的 Gemini mini系列），有时候这些小型模型甚至能超越某些旗舰模型（比如 OpenAI 的 GPT-4o 与 GPT-4 相比）。然而，这种性能提升是以更长的训练时间为代价的。我们还观察到，新的架构设计带来了意想不到的成果，例如 Claude 的 Haiku 所采用的“混合专家”模型。
2.4 模型规模的扩大并不必然带来“涌现”能力

过去十年的经验告诉我们，扩大模型规模、训练计算量和数据集大小可以增强模型的性能。在大语言模型（LLMs）中，这一点通常体现在它们对序列中下一个单词的预测能力上。

所谓“涌现”能力，指的是那些在小模型中未曾出现，而在大模型中得以展现的能力。

虽然人工智能在我们设定的各项基准测试中表现日益精进，但它仍旧无法进行真正的推理。人们曾寄希望于，只要模型足够大，就能突然学会推理。

我们经常看到人工智能在数学和物理测试中超越博士生的报道，但同样也会看到它在一些简单测试中的失败，而这些测试对小孩子来说却是轻而易举[7]。如果人工智能无法在其训练数据之外进行有效泛化，那么继续增加数据量最终也不会带来实质性的改善。
03

人工智能将走向何方？

现在，我们再次步入了一个充满奇迹与惊喜的时代。大家都在寻找下一个可以扩展（scale）的领域。如今，扩展正确的事物比以往任何时候都更为重要。——Ilya Sutskever

3.1 推理层面的扩展

在模型扩展是否已达极限的争论中，部分焦点已经转向了“推理扩展”[8]。OpenAI 的 o1[9] 就是这种推理扩展的一个实例。

与模型扩展侧重于增加模型大小、训练数据和计算资源不同，推理扩展着眼于优化模型在运行过程中的处理和推理能力。这些模型经过微调，以便在给出答案前进行“推理”。

近期的一些创新，如先推理后行动的提示词技术、智能体、混合模型、幻觉检测与缓解等，还需要一些时间才能成熟，以进一步提升模型的表现。
3.2 展望未来

尽管我们看到了扩展能力的局限性，但仍有不少人对未来保持乐观。据 Epoch AI 预测，未来 5 年内，我们有望继续扩展数据、计算资源和硬件，足以训练出计算能力是 GPT-4 十倍以上的新型模型。这一数字还有可能增长，但最大的挑战恐怕是电力需求的激增。



展望 2030 年，人工智能训练的扩展将面临哪些限制，以训练所需的计算 FLOP 来衡量。数据来源：Epoch AI[2]

在 NeuroIPS 的最新演讲中，Ilya 对未来发展趋势做出了一些预测，尽管具体的实施时间和方式尚不明确：

系统将变得智能体化：Agent 是今年人工智能的一大进步。例如，Anthropic 公司几个月前推出的智能体模型，能够与计算机互动并实现 AI 的全面控制，令人印象深刻。

系统将能够推理和理解。AI 的推理能力越强，其行为就越难以预测（顶尖的国际象棋 AI 对棋手来说就是不可预测的）。

系统将拥有自我意识，因为它具备了推理和理解的能力。

让 AI 具备推理能力将是重要的一步，或许 OpenAI 的 o1 模型已经为我们揭示了未来的发展方向：让 AI 在给出答案前进行一段时间的思考和推理。AI 的推理能力越强，其不可预测性也就越高。然而，一旦我们拥有了强大的推理能力、完善的智能体系统，并且减少了幻觉现象，实现通用人工智能乃至超级智能将不再遥不可及。

04

结束语

或许模型规模的扩大已经到达极限，也可能尚未结束。大家都在探索下一步该如何走。但可以肯定的是，这种趋势不会无限持续下去。模型规模扩大的终结，反而带来了一系列正面效应：人工智能的发展将重新依赖于创新思维和重大突破。有一点共识是明确的：未来充满了不确定性。

Thanks for reading!

Hope you have enjoyed and learned new things from this blog!

About the author

Lan Chu

Data Scientist | Write about data and AI.