词元调用量正成为新度量衡_热点

词元调用量正成为新度量衡

创始人

2026-08-29 06:17:59

转自：贵州日报

本报记者周梓颜

“词元调用量正成为人工智能的新度量衡。”2026中国国际大数据产业博览会开幕式上，上海交通大学副教授，上海无问芯穹智能科技股份有限公司联合创始人兼首席科学家戴国浩作主旨演讲。

他提到，词元工厂面临三个挑战。一是算力资源碎片化；二是推理成本高；三是模型迭代速度快。

“面对算力资源碎片化问题，我们通过跨集群异构混合推理技术，在保障生产效率的同时显著降低算力成本，让分散各处的存量集群资源都能充分释放产业价值。”戴国浩表示，依托跨集群PD分离技术，可减少跨集群传输的数据量、拥塞及等待延迟。与基于单一芯片集群的方案相比，整体成本降低约10%至15%。

同时，面对推理成本高的问题，可通过计算优化、PD分离、集群通信优化、智能网关、MTP、Cache优化等技术和工程化手段，实现从单机优化到多机优化，从集群规模优化到跨集群优化，以原始创新驱动词元生产成本下降。面对模型迭代速度快的问题，以智能体驱动跨芯片算子优化，为快速迭代的国产模型生态提供Agentic优化路径。“我们研发的Kernel Design Agent，以自然语言输入算子优化需求，通过主控分析、调度总线、核心生成、沙盒验证、评审沉淀的工作流，帮助国产芯片实现端到端性能提升。”戴国浩说。

上一篇：哈佛大学教授Rogoff警告称美国财政困局恐需危机推动才会改革

下一篇：通信网连接世界智能网赋能未来

词元调用量正成为新度量衡

相关内容

热门资讯