美团新音频模型开源,音色克隆能力拉满
创始人
2026-04-03 08:50:02

IT之家 4 月 2 日消息,美团昨天发布 LongCat-AudioDiT 音频生成模型,彻底抛弃梅尔谱等中间表示,直接在波形潜空间进行基于扩散模型的文本转语音(TTS),号称“突破零样本 TTS 音色克隆上限”。

据介绍,业界主流 TTS 引擎长期受困于“多阶段”的复杂流程:先预测中间声学特征(如梅尔频谱),再依赖一个独立的神经声码器将特征“翻译”成最终波形。这种流程本质上是在两个不同空间里“传话”,必然会累积误差,导致最终合成的声音丢失了高保真、个性化的细节。

而 LongCat-AudioDiT 的核心架构逻辑非常简单,只用一个波形变分自编码器(Wav-VAE)和一个扩散 Transformer(DiT),在波形隐空间里完成声音的压缩、建模与重建。拥有高效的下采样与多尺度建模、非参数捷径稳定训练以及对抗式多目标训练等多维度创新。

同时,该模型的骨干网络基于 Transformer,集成全局自适应层归一化(Global AdaLN)、QK-Norm + RoPE 稳定注意力训练等多项结构优化。还能够通过双重约束机制修复流匹配 TTS 的“训练-推理”不匹配问题。

性能方面,该模型的 3.5B 版本在 Seed-ZH 测试集的说话人相似度(SIM)指标提升至 0.818,Seed-Hard 测试集达到 0.797,超过了 Seed-TTS、CosyVoice3.5、MiniMax-Speech 等知名模型。

目前该模型已经开源,IT之家附 1B/3.5B 参数版本链接如下:

  • 论文:https://arxiv.org/abs/2603.29339v1
  • GitHub:https://github.com/meituan-longcat/LongCat-AudioDiT
  • HuggingFace:https://huggingface.co/meituan-longcat/LongCat-AudioDiT

相关内容

热门资讯

记者手记|时代大潮里的笃行与担... 来源:新华社记者手记|时代大潮里的笃行与担当新华社记者韩梁 朱瑞卿 伍岳9月的新德里草木葱郁,阳光热...
被骂 “君子之贼” 高若讷有点...     ◎宋慧敏    北宋景祐三年(1036年)一个春日,谏官高若讷接到一封信,写信人是刚刚入朝任...
烂缦胡同:烟火气里涌动青春创业...     近日,在“全国文化中心建设巡礼”主题采访活动中,北京青年报记者走进北京市西城区牛街街道烂缦胡...
科技赋能实体 金融护航出海     9月9日至13日,2026年中国国际服务贸易交易会(以下简称服贸会)在北京首钢园举办,今年的...
湖北大学最新或2023(历届)...   1、考生自最新或2023(历届)4月1日起可在湖北大学招生信息网(http://zsxx.hub...