(来源:电子技术应用ChinaAET)
内存的持续短缺,正在让大型数据中心运营商不得不采取一些非常手段。9月3日消息,据Wccftech报道,谷歌供应链基础设施高级总监尼基尔·切里安(Nikhil Cherian)近日在行业峰会上透露,由于DRAM供应持续紧张,公司已开始拆解退役服务器,回收其中仍可使用的DDR4内存模组,以应对AI算力扩张带来的内存短缺压力。
构建内部循环利用供应链体系
切里安指出,人工智能产业的核心瓶颈已由“算力不足”转变为“内存受限”。
在典型的AI服务器中,高性能内存的物料清单(BOM)成本占比已高达约75%,内存已成为制约系统性能和成本结构的关键因素。
为突破内存瓶颈,谷歌正同时从软件和硬件两端发力。在硬件层面,谷歌采取了颇为直接的应对方式——有计划地将退役服务器重新调回机房,拆解并回收其中可用的DDR4内存模组,构建起一套内部循环利用的供应链体系。
在某些应用场景中,谷歌甚至已被迫采用相对保守的方案:用DDR4内存模组替代新型AI服务器原计划搭载的DDR5模组。
为此,公司专门设计了硬件转接卡,使DDR4等上一代内存方案能够接入新一代AI服务器系统,以缓解高端内存供应的短缺压力。
在面向推理任务优化的TPUv8i芯片方面,谷歌采用了专用分层存储体系。整机层面依托高速DDR5内存进行数据预处理等任务,每颗TPUv8i芯片还配备288GB HBM3e高带宽内存,兼顾容量与带宽需求。
软件层面的优化同样在同步推进。谷歌持续调整底层函数库、模型架构及KV缓存压缩算法,以尽可能降低单位算力下的内存开销,从系统层面缓解对物理内存的过度依赖,提升整体资源利用效率。
内存短缺的信号
上周,高盛在一份报告中指出,内存价格将在第三季度继续增长,预计个人电脑DRAM价格将上涨18%至23%,服务器DRAM价格上涨13%至18%。
Trendforce数据显示,8月现货市场上,DDR4 8GB和DDR5 8GB的价格分别上涨至142美元和133美元。DDR5相对于DDR4的折扣仍为6%,与7月份持平。
内存价格的不断上涨已经迫使人工智能行业采取降低单位算力所需内存容量的措施。谷歌在今年推出的两种TPU ASIC就对内存进行了优化设计,称有望将内存需求降低至原来的六分之一。
谷歌的TPU8i芯片采用了专用分层内存设计,依靠高速DDR5内存架构来执行主机级任务。此外,每颗TPU8i芯片均搭载288GB的HBM3e高带宽内存。
但从谷歌开始回收DDR4的举动来看,DDR5和HBM3e并不足以满足该公司人工智能芯片的内存需求,迫使其利用上一代的内存解决方案。内存仍然是限制该公司算力增长的关键瓶颈。
来 源 | 财联社