AI视频生成新纪元!谷歌Veo 3上线:一句话生成带BGM、对白、环境音的完整影片。社交平台已经涌现大量“尝鲜”视频。
谷歌于周二发布了Veo 3,一款具备音视频生成能力的AI工具,能够生成视频并同步加入音效。
这款人工智能工具是OpenAI Sora的直接竞品,其一大亮点是能够将音频元素与视频内容无缝整合。谷歌表示,Veo 3可以生成包括角色对白和动物声音在内的音频内容。
谷歌DeepMind产品副总裁伊莱·柯林斯(Eli Collins)周二在一篇博客中表示:
“Veo 3在文本和图像提示、现实物理效果以及精准唇形同步方面表现出色。”
谷歌Veo 3实现音画同步生成功能,标志着AI视频生成技术的重大突破。Veo 3能够根据提示词生成高质量视频,同时自动生成与画面同步的对白、唇动对齐、拟真环境音效以及情绪氛围音轨。其底层技术V2A(Video-to-Audio)通过将视频像素转化为语义信号,结合文本提示生成同步音频波形,从而实现了音画同步。
Veo 3的音画同步功能基于对物理世界的深刻理解,能够实时生成与画面匹配的声音,例如脚步声、烹饪声等,而不是后期拼接。此外,Veo 3还能精准捕捉画面情绪,渲染氛围音效,甚至在多角色、多种风格的复杂场景下表现出色。在长提示词理解与事件流生成方面,Veo 3也能处理复杂的事件流,生成逻辑连贯、多步骤执行的视频片段。
这款音视频AI工具从周二起向美国用户开放,订阅者需加入谷歌新推出的Ultra订阅计划,月费为249.99美元,主要面向深度AI爱好者。同时,Veo 3也将在谷歌的企业级AI平台Vertex AI上向用户开放。
目前,X社交平台上已经涌现大量用户“尝鲜”的视频。比如,镜头跟随一只腊肠犬穿过客厅,跑出敞开的前门,来到门廊。它站在顶层楼梯上,俯瞰着周围的景色,这时一辆冰淇淋车驶过。视频中伴随小狗冲出门口的的脚步声、冰淇淋车驶过的声音。
在X用户分享的另一个Veo3生成的视频中,一匹马走进酒吧,视频伴随马蹄声、马叫声以及酒保说话的声音。
这个新产品的推出正值生成式AI在图像和视频创作领域的应用日益普及。OpenAI首席执行官奥特曼曾透露,其旗下ChatGPT 4o的图像生成功能因过度受欢迎,甚至一度令计算芯片“过热”,公司不得不暂时限制该功能使用。
此外,谷歌还宣布对Veo 2进行更新,新增支持通过文字提示对视频中物体进行增删的功能。同时,谷歌开放了其AI音乐生成模型Lyria 2,供YouTube Shorts创作者及Vertex AI企业客户使用。