格隆汇12月2日|据硅星人Pro,就在上周,OpenAI前首席科学家在最新播客访谈中抛出一个重磅观点,过去五年的“age of scaling”正在走到头,预训练数据是有限的,单纯用更多GPU堆更大模型,哪怕再放大100 倍,也未必能带来质变。所以我们又回到了以研究为核心的时代,只不过这次有了巨大的算力”,这一表态被视作对Scaling Law撞墙论的强力佐证。
然而仅过了几天,12月1日,DeepSeek用V3.2和V3.2-Speciale的发布,给出了一个不同的答案。模型发布后,DeepSeek研究员在X上发文:“如果Gemini-3证明了持续扩展预训练的可能性,DeepSeek-V3.2-Speciale则证明了在大规模上下文环境中强化学习的可扩展性。我们花了一年时间将DeepSeek-V3推向极限,得出的经验是:训练后的瓶颈需通过优化方法和数据来解决,而非仅等待更好的基础模型。”而针对模型当前在世界知识广度上的短板,DeepSeek在技术报告中直言是因训练FLOPs不足,并硬气宣布后续将“扩大预训练算力”以弥补差距。