预训练“卡壳”:SemiAnalysis 爆料 OpenAI 连续两年半未跑通新前沿大模型

爱力方

爱力方

2025年12月01日 15:32
本文共计1850个字,预计阅读时长7分钟。
来源/互联网 责编/爱力方

一个曾经被整个AI行业,奉为圭臬的、颠扑不破的“黄金定律”——Scaling Law(规模法则)——似乎,正在OpenAI的、庞大的、昂贵的计算集群中,悄然地,失效。

这条定律的核心,简单而粗暴:只要你,拥有更大的模型、更多的数据、更强的算力,你就一定能,得到一个更聪明的AI。

然而,根据知名半导体分析机构SemiAnalysis的最新报告,自2024年5月,其划时代的GPT-4o模型发布以来,OpenAI,这家被视为全球AI技术“领头羊”的公司,至今,尚未,成功地,完成过任何一次,真正意义上的、“面向下一代前沿模型”的、大规模的预训练部署。

报告披露,在过去的一年多时间里,OpenAI的顶尖研究团队,曾多次地,试图,通过进一步地,扩展模型的参数规模和训练的数据规模,来冲击那个被外界寄予厚望的、真正的“GPT-5”。

但每一次的尝试,最终,都因同样的原因,而被迫地,中途叫停:

  • 收敛困难: 模型的训练损失(Training Loss),在达到某个点之后,便不再下降,甚至开始出现震荡。

  • 性能倒挂: 最终训练出的、更大规模的模型,其在关键基准测试上的表现,反而,不如其规模更小的前代模型。

这意味着,那个曾经被寄予厚-望的、外界所看到的、所有以“GPT-5”为名号的版本(例如,最近的GPT-5.1),其实质上,都仍然只是,在GPT-4o这个成熟的、强大的架构之上,所进行的、各种形式的“优化变体”。

它们,都未能,实现一次真正的、底层的、架构级别的“代际突破”。

而就在OpenAI,陷入这场“Scaling困境”的同时,其最主要的竞争对手——谷歌——则正在其自研的AI芯片TPUv7上,高歌猛进。

SemiAnalysis的报告,以一种近乎于“不留情面”的方式,揭示了这场“算力战争”的、另一个维度的残酷现实。

  • 谷歌的TPUv7,已经成功地,在其最新的旗舰模型Gemini 3的研发中,完成了大规模的预训练验证,证明了其技术上的成熟与可靠。

  • 更致命的是,在构建一个同等规模的、用于AI训练的算力集群时,采用谷歌TPUv7方案的、最终的总体拥有成本(TCO),要比采用英伟达GPU的方案,低上整整30%

报告中,甚至,披露了一个极具戏剧性的细节:

OpenAI,至今,甚至,“尚未真正地,大规模地,部署TPU”。

仅仅是,市场上,传出了其正在“评估”TPU方案的消息,就足以,迫使英伟达,在其现有的、向OpenAI提供的GPU集群的报价之上,做出了重大的让步,为OpenAI,节省了约三成的采购成本。

这,从侧面,无可辩驳地,凸显了谷歌TPU,在“性价比”这个维度上,所拥有的、巨大的、令人生畏的战略优势。

AIbase的分析认为,OpenAI此次所遭遇的“停滞”,其意义,已远超一家公司的技术瓶颈。

它,更像是一个深刻的、具有行业风向标意义的“标志性信号”。它标志着,整个生成式AI的赛道,在经历了过去几年,近乎于“疯狂”的、指数级的“大跃进”之后,正在集体地,撞上一堵由物理规律和经济成本,所共同构筑起来的、坚硬的“墙壁”。

一个全新的、“后Scaling时代”,已经到来。

这场瓶颈,是三重性的:

  1. 数据的瓶颈: 互联网上,所有高质量的、公开的文本和图像数据,几乎,都已被“耗尽”。而用于替代的、高质量的“合成数据”,其生产成本,则高得惊人——据估算,已达到1亿美元/TB

  2. 算力的瓶颈: 构建和维护一个由“十万卡”以上GPU所组成的、超大规模的计算集群,其工程上的复杂度和硬件的故障率,正在以一种非线性的方式,急剧地攀升。

  3. 模型“配方”的瓶颈: 对于更大规模的、基于MoE(混合专家)架构的模型,如何去寻找那套最优的、能够确保其稳定收敛的“超参数”(Hyperparameters),正在变得,越来越像一门“玄学”,而非一门严谨的科学。

面对这“三重瓶颈”,全球的AI实验室,其研发的重心,也正在发生一次深刻的、集体性的战略转向。

它们,不再将所有的宝-押,都押在“预训练”这个环节的、无休止的规模扩张之上。

而是开始,在“后训练”的阶段,去寻求新的、更具“巧劲”的、能够带来“增量突破”的路径。

例如:

  • 针对特定任务的、更小的“推理模型”的优化。

  • 基于“自博弈”的、能够让模型自我进化的强化学习(RL)。

  • 以及,在多模态数据的融合与后训练上,进行更深度的探索。

在这场,关乎AI未来的、更为漫长、也更为艰难的“马拉松”中,那个曾经百试不爽的、“大力出奇迹”的时代,似乎,已经结束。

而一个全新的、更考验智慧、更讲求效率的“精耕细作”的时代,才刚刚,拉开其序幕。

声明:本文来自互联网,版权归作者所有。文章内容仅代表作者独立观点,不代表A³·爱力方立场,转载目的在于传递更多信息。如有侵权,请联系 copyright#agent.ren。

相关图文

热门资讯