21世纪经济报道记者 董静怡

2025年，全球大模型token消耗量涨了100倍。每一笔消耗都意味着一次AI推理，而每一次推理的成本，正在成为AI公司能否盈利的关键。

根据德勤报告，到2026年，推理算力在整体AI计算中的占比将超过训练，达到66%。大模型从“被训练出来”走向“被用起来”，推理从技术配角变成了商业主力。

“训练市场是头部玩家的游戏，门槛越来越高，收敛得很快。”曦望董事长徐冰在采访中向21世纪经济报道记者表示，“但推理是百花齐放的，需求看不到天花板。”

日前，曦望发布了公司新一代推理GPU——启望 S3。这家公司脱胎于商汤科技大芯片部门的公司，于2025年初独立运营，一年内完成近30亿元战略融资，股东阵容兼具产业龙头与国资背景机构。

曦望选择了一条看似窄众的道路：All in推理，放弃训练。这在GPU公司竞相标榜“训推一体”或“算力领先”的语境里，像是一次主动的战略收缩，而管理层认为这是聚焦。

国产AI芯片赛道正在进入一个更务实、更分化的新阶段。这背后，既有对市场趋势的预判，也有在现有技术、生态和供应链约束下的务实考量。

（曦望董事长徐冰）

专注“推理”

2025年底，英伟达以约200亿美元的价格，与AI芯片初创公司Groq达成了一项非独家技术授权协议。根据协议，Groq的创始人Jonathan Ross（谷歌TPU核心开发者）、总裁及核心团队将加入英伟达，以补强其在AI推理领域的技术。

随着大模型走向规模化应用，算力的主战场正从集中式训练，转向长期、大规模运行的推理场景，算力竞争的核心也随之转向效率、稳定性和长期成本。国内外众多芯片企业都在加紧布局。

曦望联席CEO王勇在采访中向21世纪经济报道记者表示，在上一代产品“启望S2”的落地过程中，团队发现，尽管作为一款对标国外先进的训推一体芯片，其在实验室测试中表现优异，但在实际客户那里，最终几乎全部被用于推理场景。

“大模型的训练需要万卡甚至十万卡的大规模集群，成本极高，是少数巨头的游戏。而用为训练优化的昂贵芯片来做推理，性价比就不高了。”王勇向记者表示。

训推一体GPU为了兼顾训练所需的高精度计算和海量数据吞吐，采用了昂贵的高级封装和HBM（高带宽内存）。这些组件推高了芯片成本和功耗，但在面对推理场景——尤其是低延迟、高并发、小批次的在线服务时，其庞大的算力往往利用率仅有5%到10%。这导致了极高的电力浪费和持有成本，最终转嫁给 AI 应用厂商，成为他们商业化的沉重负担。

“如果算力不能以可控成本、长期稳定地服务真实业务，AI就很难真正走向规模化。”在徐冰看来，极致推理不是一个细分选择，而是 AI走向基础设施化过程中，最关键的一步。

曦望的解法是“做减法”。启望S3彻底放弃了那些针对训练的“冗余设计”。它没有采用HBM，而是选择了成本低得多、但容量更大的LPDDR6内存。

“推理芯片需要的不是极高的内存带宽，而是足够大的内存容量，来装载庞大的模型参数。”曦望联席CEO王湛向记者解释道。这一设计使得S3的显存容量比上一代训推一体芯片提升了四倍以上。

在计算核心上，S3为提高推理场景下的性能表现，也将算力往低精度倾斜，特别是目前已成为行业共识的FP4和FP8精度。

“现在绝大部分推理运算已经是FP4了，”王勇表示，“我们把芯片里主要的面积都用来加强FP4算力，这本身就带来了数倍的性价比提升。”

结合架构、访存、软件栈等全方位的极致优化，曦望称S3能实现比上一代产品“十倍以上的性价比提升”。

要差异化突围

曦望的路径选择，反映出当前国产芯片创业潮中的一个新趋势：从“替代”到“差异化”。

过去几年，在自主创新的浪潮下，涌现了一批以“对标英伟达某款产品”、“实现国产化替代”为目标的GPU 公司。它们的叙事往往围绕着“性能达到A100的百分之多少”。

然而，这条路挑战巨大。英伟达凭借CUDA生态构筑了几乎垄断的护城河，其在制程工艺、架构设计上的领先优势也非一朝一夕可以逾越。单纯在“训推一体”的通用赛道上追赶，意味着要承受极高的研发投入、漫长的迭代周期和激烈的同质化竞争。

这迫使芯片公司必须从系统层面创新，找到属于自己的路径。曦望选择的是“推理”这个正在爆发且尚未被单一架构垄断的赛道。

当下，推理需求的爆发性增长正在创造一个新的窗口。智能体（Agent）、多模态交互、物理世界 AI 等复杂场景的落地，对推理算力提出了前所未有的要求。这些需求是高度多样化且尚未收敛的，这意味着没有一家公司能通吃所有场景。

徐冰向记者表示，AI芯片将占据未来AGI（通用人工智能）产业价值的70%甚至90%。如果相信AGI终将到来，相信未来机器人的数量会超过人类，那么“7×24小时不停歇的推理需求将没有天花板”。在这个万亿甚至更庞大的赛道里，容得下多条技术路径和多个玩家。

差异化的产品定位只是第一步，更艰巨的挑战在于生态构建。范式智能创始人戴文渊在演讲中指出，国产GPU生态面临困境。“Hugging Face上有200万个模型，而顶尖国产GPU能顺畅支持的只有几十到几百个；99%的中国AI应用仍建立在英伟达的体系之上。”生态的差距，远大于单芯片性能的差距。

国产芯片的突围，不能再是简单的硬件替代，而必须是“芯片+生态+场景”的协同创新。

曦望也在积极适配国产大模型的路径。王勇观察到，以DeepSeek为代表的国内大模型公司，已经开始走出与美国不同的技术路径，例如MoE（混合专家模型）架构、EP（专家并行）与PD（流水线并行）分离的部署方式。“这些变化牵引着中国大模型的发展，我们必须第一位地去适配这些新特性。”

当然，挑战依然严峻。生态建设非一日之功，模型支持数量、开发者习惯、工具链成熟度仍需时间积累。供应链的稳定性与国际局势的波动，也是悬在头顶的达摩克利斯之剑。此外，专注推理虽避开了与巨头的正面交锋，但也意味着放弃了训练市场的巨大蛋糕，战略定力将经受长期考验。

行业进入一个更为务实的“商业化验证”周期，最终将取决于能否真正让更多企业用得起、用得好AI算力。