随着生成式人工智能（AI）行业的蓬勃发展，人们开始质疑其未来走向。据 The Information 报道，OpenAI 的下一代旗舰 AI 模型 Orion 与前代 GPT-4 相比，在性能提升方面表现平平，尤其是在编码任务方面，进步幅度远小于 GPT-3 到 GPT-4 的跨越。这一现象引发了人们对于 AI 模型是否已经触及性能天花板的讨论。
AI 规模化定律：失效了吗？
长期以来，AI 领域盛行“规模化定律”，该定律认为 AI 模型的智能程度与其规模成正比，即模型越大，数据量越多，计算能力越强，其性能就越好。OpenAI 首席执行官 Sam Altman 曾表示，规模化定律是“由上帝决定的”，但 The Information 的报道表明，随着越来越多的证据表明领先 AI 模型正在遭遇性能瓶颈，硅谷技术人员开始质疑这一定律。
尽管 Orion 的训练尚未完成，但 OpenAI 仍然采取了一些措施来提升其性能，例如在训练后根据人类反馈进行改进。但即使如此，这也表明，在未来，那些帮助企业融资数十亿美元并拥有高估值的 AI 模型，可能在每次迭代中都显得越来越不那么令人印象深刻。
造成这种现象的原因主要有两个：
首先，数据作为规模化定律的关键要素之一，正在变得越来越难获得。企业已经迅速耗尽了在线可用的数据，他们已经从互联网上抓取了大量的文本、视频、研究论文和小说等人类创作的数据来训练 AI 模型，但这些数据供应量有限。研究公司 Epoch AI 预测，到 2028 年，企业可能会耗尽可用的文本数据。虽然企业正试图通过使用 AI 生成合成数据来克服数据限制，但这种方法也存在问题。
企业软件公司 Databricks 的联合创始人兼执行主席 Ion Stoica 表示，对于一般性知识问题，大型语言模型 (LLM) 的性能可能正在达到一个瓶颈，而“事实数据”比合成数据更有用。
其次，计算能力，作为历史上推动 AI 性能提升的另一要素，也并非无限的。Altman 在上个月的 Reddit 问答环节中承认，OpenAI 面临着“许多限制和艰难的决定”，需要分配其计算资源。
“收益递减”现象
纽约大学名誉教授、AI 领域的知名批评者 Gary Marcus 认为，AI 发展注定会遇到瓶颈，并声称 AI 正在表现出“收益递减”的迹象。他针对 The Information 的报道发表了一篇 Substack 文章，标题为“已确认：大型语言模型确实已达到收益递减的临界点”。
当 OpenAI 的竞争对手 Anthropic 在 6 月发布其 Claude 3.5 模型时，Marcus 对其在研究生水平推理、代码和多语言数学等领域的表现持否定态度。他认为 Claude 3.5 的性能与其他模型“处于同一水平”。
Marcus 指出，AI 市场已经花费了数十亿美元试图颠覆竞争格局，但结果却证明了“收敛而不是持续的指数增长”。
OpenAI 联合创始人兼 Safe Superintelligence 公司创始人 Ilya Sutskever 也表达了类似的观点。在 The Information 报道后，他告诉路透社，预训练规模化的结果已经达到瓶颈，并补充说：“现在，规模化正确的事物比以往任何时候都更重要。”
规模化的乐观
尽管如此，包括 Altman 在内的其他硅谷领导人仍然公开对 AI 的规模化潜力表示乐观。微软首席技术官 Kevin Scott 在 7 月份接受红杉资本“训练数据”播客采访时，驳斥了 AI 进步已经停滞的担忧。他说：“尽管其他人认为，我们还没有达到规模化的边际收益递减。”
此外，还可以通过增强开发中的推理部分来提升 AI 模型的智能。推理是在 AI 模型训练后，通过它们以前从未见过的数据来细化 AI 输出的工作。OpenAI 在 9 月发布的 OpenAI o1 模型，更加注重推理改进，在复杂任务中超越了其前身，在物理、化学和生物学等基准任务中，其智力水平与博士生相当。
尽管如此，很明显，与 Altman 一样，AI 行业的大部分人仍然坚定地认为，规模化定律是驱动 AI 性能的因素。如果未来的模型表现不佳，预计人们会重新评估 AI 的繁荣。
原创文章，作者：睿鸿在线，如若转载，请注明出处：https://mip.orihonor.com/2024/11/13/7193.shtml
