近日,知名 AI 实验室
这项名为《流形约束超连接》(Manifold-Constrained Hyper-Connections)的研究,核心在于对现有模型架构的微调。研究人员发现,传统设计在大规模训练时容易出现信号传播不稳定和梯度异常的问题,导致深度模型难以有效训练。通过引入一种特殊的“约束”机制,
实验结果显示,采用新架构的模型在多项权威基准测试中表现亮眼。在考验复杂多步推理的 BIG-Bench Hard 测试中,准确率从43.8% 显著提升至51.0%;同时,在数学推理(GSM8K)和逻辑推理(DROP)等领域也均有不同程度的进步。值得注意的是,这些性能增益仅带来了约6% 到7% 的额外训练开销,极具落地可行性。
划重点:
架构优化胜过盲目扩容:
证明通过解决神经网络内部连接的稳定性问题,不增加海量参数也能大幅提升模型智商。DeepSeek 推理能力显著增强:新架构在复杂推理任务中的准确率提升超过7个百分点,且在数学和逻辑测试中表现出色。
高性价比的算力方案:实现性能跨越的同时,仅增加了极低的训练成本,为未来生产级大模型的构建提供了更经济的思路。