IBM 通过内容感知 AI 集成增强 Storage Scale 功能
创始人
2025-03-21 18:14:02
0

IBM 的并行文件系统 Storage Scale 现已包含内容感知功能,以增强其检索增强生成 (RAG) 能力。

Storage Scale 在高性能计算 (HPC) 和需要类似高速文件数据访问的企业用例中有着悠久的历史,包括大语言模型 (LLM) 训练和推理。Storage Scale v5.2.1 增加了高性能 S3 对象存储支持。该产品还支持 Nvidia的 GPUDirect 主机服务器内存旁路协议。去年 9 月,IBM 将其 watsonx 数据湖仓与 Storage Scale 结合,在文件访问覆盖层下提供对象存储功能。目标是提高 AI训练和推理工作负载的速度。

现在 IBM 已经扩展了与 Nvidia 的合作,宣布:

- 基于 Nvidia 的 AI-Q 蓝图和 NeMo Retriever 微服务构建的内容感知 Storage Scale (CAS) 功能。

- 通过支持 Nvidia NIM 微服务扩展 watsonx 集成,实现跨多个云环境的外部 AI 模型集成。IBM watsonx.governance 将允许企业监控和管理任何托管环境中的 NIM 微服务。

- AI focused 的 IBM 咨询能力,Nvidia 通过 Nvidia Blueprints 提供 AI 集成服务,使用 Red Hat OpenShift 和 Nvidia AI 优化混合云环境中的计算密集型 AI 工作负载。

- IBMCloud 上提供 Nvidia H200 GPU 实例。

- Storage Scale 支持 Nvidia 的 AI 数据平台参考设计。

IBM 院士、副总裁兼首席技术官Vincent Hsu 在谈到 CAS 时表示,它基于 IBM Research 和 Nvidia 的工作。由于 IBM 现在已经"在存储系统中嵌入了计算、数据管道和向量数据库功能,CAS 减少了数据移动和延迟,从而提高了效率。"

Storage Scale 可以从多个来源获取数据。它具有"全局数据抽象服务,旨在提供来自多个数据源和多个位置的连接,将数据从 IBM 和第三方存储环境引入您的 AI 工厂。"

CAS 可以使用 AI-Q 和 NeMo Retriever "从文本、图表、图形甚至图像中提取信息"。它能够"监视其他存储系统或云中的文件夹,以识别发生的变化,自动运行预构建的管道,并仅更新向量数据库中的变化,确保数据对 AI 应用程序是最新的,同时高效地使用 Nvidia 加速计算。"

IBM Storage Scale 将使用提取和增强的数据响应查询,通过 BlueField-3 DPU 和 Spectrum-X 网络加速 GPU 和存储之间的通信。

CAS 可以检测多个非结构化数据存储中的变化,将修改后的数据转换为向量,并将其提供给 AI 模型,以改善对用户或 AI 助手请求的 RAG 响应。正如 Hsu 所说:"通过应用创新的自然语言处理技术,我们开发了更有效地从各种内容中提取语义含义的方法,使更新 AI 工具变得更容易,从而提高答案的质量。"

Nvidia 存储网络技术副总裁 Rob Davis 表示:"AI 代理需要快速访问、获取和处理大规模数据,而今天,这些步骤发生在不同的孤岛中。IBM 的内容感知存储与 Nvidia AI 的集成在优化的网络结构中协调数据和计算,通过智能、可扩展的系统克服孤岛,实现近实时推理,从而实现响应式 AI 推理。"

Storage Scale 内容感知功能将嵌入到下一次 IBM Fusion 更新中,预计在第二季度全面上市。感兴趣的各方可以在这里注册参加定于 2025 年 4 月 8 日东部时间 11:00 举行的网络研讨会"AI First Storage – 通过内容感知存储增强 AI 结果"。

相关内容

热门资讯

不予批准!四川1.5GW光伏发... (转自:数字新能源DNE)7月3日,四川省甘孜州生态环境局发布了关于暂不予批准《甘孜丹巴巴底光伏发电...
洪灝:为达利欧《国家为什么会破...   炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会! 洪灏 系莲华资产管理...
法国政府奉行一个中国政策无变化 转自:北京时间 #王毅希望做大中法合作蛋糕# 【#法国政...
产值超7000万元!阳江首次“... 转自:广东阳江发布7月3日上午在我市大镬岛深水网箱养殖基地成群的金鲳鱼跳跃翻滚工人将金鲳鱼从深水网箱...
中国人民抗日战争纪念馆将恢复开... 新京报讯 7月5日,中国人民抗日战争纪念馆发布恢复开放公告,全文如下:中国人民抗日战争纪念馆将于20...