英伟达开源 Audio2Face:AI 实时生成面部动画,多语言口型同步
创始人
2025-09-25 07:43:42

IT之家 9 月 25 日消息,英伟达昨日(9 月 24 日)发布博文,宣布开源生成式 AI 面部动画模型 Audio2Face,涵盖模型、软件开发工具包(SDK)及完整训练框架,希望能在游戏和 3D 应用中,加速开发 AI 智能虚拟角色。

该技术通过分析音频中的音素、语调等声学特征,实时驱动虚拟角色面部动作,生成精准的口型同步和自然的情感表情,可广泛应用于游戏、影视制作和客户服务等领域。

Audio2Face 支持两种运行模式:预录制音频的离线渲染和动态 AI 角色的实时流式处理。IT之家援引博文介绍,英伟达此次开源了多个核心组件:

  • Audio2Face SDK
  • 适用于 Autodesk Maya 的 2.0 版本本地执行插件
  • Unreal Engine 5.5 及以上版本的 2.5 插件
  • 回归模型(v2.2)
  • 扩散模型(v3.0)
  • 开源训练框架支持开发者使用自有数据微调模型,以适应特定应用场景。

该技术已获行业广泛采用。游戏开发商 Survios 在《异形:侠盗入侵进化版》(Alien: Rogue Incursion Evolved Edition)中集成 Audio2Face,大幅简化了口型同步与面部捕捉流程。

Farm 51 工作室也将其用于《切尔诺贝利人 2:禁区》(Chernobylite 2: Exclusion Zone),通过音频直接生成细腻面部动画,节省大量制作时间,提升角色真实感和沉浸体验。创新总监 Wojciech Pazdur 称此为“革命性突破”。

相关内容

热门资讯

福建第二届职业技能大赛报名启动 记者8月4日从福建省人社厅获悉,福建省第二届职业技能大赛已启动报名工作。本届大赛以“匠心福建 技能未...
福州老旧营运货车报废更新补贴启... 记者从市交通运输局获悉,2026年福州市老旧营运货车报废更新补贴工作于8月4日启动。与去年有所不同,...
原创 杨... 《神雕侠侣》是《射雕英雄传》的续集,金庸也确实是围绕郭杨两家的孽缘在续写故事,所以杨过自幼就背负着“...
福州晋安青训代表队勇夺2026... 近日,2026第四届“海丝杯”全国青少年足球邀请赛暨海峡两岸(福州)青少年足球邀请赛圆满收官。 福...
空调开26℃是最省电的吗? 夏季高温,空调成为家家户户消暑降温的刚需。空调如何使用更省电、更健康?就此,记者采访了电力与家电领域...