英伟达Blackwell GPU突破AI算力瓶颈，实现 1000 TPS/User里程碑_热点

创始人

2025-05-24 13:01:42

0次

IT之家 5 月 24 日消息，当地时间周四，英伟达宣布其 Blackwell GPU 在 4000 亿参数的 MetaLlama 4 Maverick 模型上成功打破了 LLM 推理速度世界纪录。

据介绍，AI 基准测试机构 Artificial Analysis 通过配置 8 块 Blackwell GPU 的 DGX B200 节点，首次实现每用户每秒生成 1000 个 token（TPS）的性能里程碑。

英伟达表示，技术团队通过 TensorRT-LLM 软件栈实施深度优化，并采用 EAGLE-3 技术训练推测解码草稿模型，使其性能较优化前基准提升 4 倍。整套服务器系统在峰值吞吐配置下可达每秒 72,000 token。

英伟达解释称：“推测解码是通过小型快速草稿模型预测 token 序列，再由大型目标 LLM 并行验证的加速技术。其优势在于单次迭代可能生成多个 token，代价是额外的草稿模型计算开销。”

为实现该突破，工程师团队采用基于 EAGLE3 的软件架构。该架构专为大型语言模型推理加速设计，与 GPU 硬件架构形成协同效应。IT之家注意到，测试结果显示 Blackwell 架构已完全适配 Llama 4 Maverick 级别的超大规模语言模型。

英伟达还表示，他们在保持响应准确性的同时大幅提高了性能。在许多指标上，使用 FP8 数据格式的准确性与人工分析 BF16 相当。

易烊千玺、舒淇主演，上海出品电... 转自：上观新闻入围第78届法国戛纳电影节主竞赛单元的电影《狂野时代》法国戛纳当地时间5月22日开启首...

张维迎：26年前制定的光华管理... 按语从1985年成立北京大学经济管理系算起，今年是光华管理学院成立40周年。去年11月底，刘俏院长...

新一届TR35中国区入选者名单... 5月23日晚，在上海举办的2024年度“35岁以下科技创新35人”中国区发布暨中国科技青年论坛上，新...

云冈石窟80%洞窟已完成数字化... 来源：中国新闻网中新网大同5月24日电(记者李庭耀胡健)记者24日从“2025云冈数字化保护与...

彭立峰：什么是成功的普惠金融？中国人民银行信贷市场司司长彭立峰近日在清华五道口全球金融论坛上就我国普惠金融发展情况做介绍。在提到未...

突然火了！3家明星公司，H股股... 近期，A股市场掀起一波赴港上市热潮，多家头部企业相继宣布启动H股发行计划，而已经在港股上市的公司则表...

全球大震荡，日本才是幕后导演来源：华尔街情报圈本周全世界关注焦点是美国国债，但动荡根源却出在日本国债市场。背后的逻辑很简单，日本...

溧水晶桥镇：杨梅“抢鲜”上市 ... 仿佛芙蓉箭镞形，涩如鹤顶红如火。5月24日，溧水区晶桥镇笪村福晶杨梅生态园智能大棚杨梅“抢鲜”上市，...

海南计划招聘特岗教师500人商报全媒体讯（椰网/海拔新闻记者许文玉）近日，教育部办公厅、财政部办公厅联合印发通知，全国计划招聘...

中国中冶相关公司新增一项771... （转自：快查一企业中标了）快查APP显示，中国中冶相关公司中国五冶集团有限公司于2025年5月24日...

吴彦祖首次公开上海新家转自：扬子晚报5月23日，吴彦祖在个人社交平台发布视频，晒出了自己在上海的家，并配文：可以拒绝我，但...

上海明确：不得要求家长检查批改... 5月23日，记者从上海市人民政府官网获悉，《上海市教育委员会关于优化上海市义务教育学校作业管理提高作...

托育行业人才缺口近百万，全国持... 格隆汇5月24日｜据央视财经，记者了解到，目前市场上托育行业人才缺口较大，相关培训活动正加速展开。机...

宁夏举办民营企业服务月毕业生专... 转自：经济日报5月20日以来，宁夏举办2025年公共就业服务系列活动民营企业服务月高校毕业生专场招聘...

开源鸿蒙开发者大会2025举办... 中新网深圳5月24日电 (记者索有为)开源鸿蒙开发者大会2025(以下简称“大会”)5月24日在深...

招商合作丨嵩明县花卉园区药食同... 场地招商嵩明县花卉园区药食同源康养体验项目嵩明县商务和投资促进局围绕规划用途，策划包装了一批市场前景...

祝贺！提前锁定金牌！转自：扬子晚报刚刚，2025年多哈世乒赛女单半决赛，中国队选手孙颖莎以4:0战胜日本队选手伊藤美诚，...

孙颖莎：没想到4比0这么轻松转自：北京日报客户端今天，孙颖莎顺利晋级多哈世乒赛女单决赛，接受赛后采访时，她表示:“近两年大赛没有...

国足在上海开启集训，主帅伊万科... 转自：上观新闻“对于我们而言，接下来唯一能做的就是赢下下一场（客场对阵印度尼西亚队）比赛，也只有这样...

王宁王予波与上海市福建商会考察... 来源：云南发布5月21日至23日，上海市福建商会考察团来滇参加投资云南洽谈考察活动。22日，省委书记...