WithAnyone重磅开源:这可能是你见过最自然的AI合照模型
创始人
2025-11-17 13:17:07

和任何人,去任何地方!复旦大学携手阶跃星辰打破 “复制粘贴” 魔咒,重磅推出全新 AI 合照生成模型 WithAnyone —— 只需上传照片,就能一键生成自然、真实、毫无违和感的 AI 合照!

WithAnyone 是什么?

WithAnyone 是一种个性化 AI 合照生成方法:给定一个人的一张照片,WithAnyone 可以生成 ta 的各种角度、各种表情;给定几个人的各一张照片,WithAnyone 可以让他们同框,生成一张毫无违和感的 AI 合照。

以往的方法,无论是现象级的 InstantID,还是火出圈的 PuLID,都面临着一个困境:给它什么样的表情、角度,它就生成什么表情、角度,做不到一点变化。

而 WithAnyone 打破了这一魔咒!真的可以拿 ID 一致性与 ID 可控性双料冠军。

WithAnyone 效果如何?

空口无凭,且看效果!

还有多人合照:

真可谓是相当惊艳了!

我们也试了一下更多人的场景:

三姐妹戴着同款墨镜其乐融融,三兄弟西装革履装酷耍帅。

过去的模型想做到生成得像,全靠 “复制粘贴 “,参考图的表情神态、头部姿态,照搬到生成图上,没有一点变化。而 WithAnyone 生成的场景真正地做到了人物一致的同时,大伙和谐同框!

当前 ComfyUI 版本已经上线,工作流也有提供,可以轻松部署!

WithAnyone 如何打破魔咒?

正所谓发现问题,比解决问题更重要。

WithAnyone 的研究团队正是发现了这一问题:AI 人像生成,生成得越来越像,甚至过于地像了 — 相似度甚至远远大于同一个人的不同真实照片!正所谓过犹不及,这便是他们要解决的问题。

要量化这个问题,团队首先提出了 MultiID-Bench,与配套的 “复制粘贴 “指标

他们把 “生成结果到参考输入的距离” 减去 “生成结果到目标输出的距离” 作为复制粘贴的衡量,并发现当前的各种方法,落入了一个越像,就越复制粘贴的魔咒:他们清晰地形成了一条拟合直线。

为了突破这个魔咒,研究团队直面最本质的问题:数据与训练

以往的 AI 个性化生成,由于同一个人的多视角数据缺乏,往往采用 “重建” 的训练方案:参考输入图,也是监督目标。而 WithAnyone 的研究团队则收集了一个五十万张多人合照,并为每张上的每个人,配了上百张不同角度、表情、光照的参考图!另外还有百万张未配对的合照,也一同并入了训练数据。

这次的开源真的很重磅,模型、Benchmark、数据集,三花聚鼎。

有了如此强悍的训练数据,便可定制化训练流程。研究团队先是通过传统重建训练,训练出强大的基本能力,再通过成对数据训练,与高质量数据微调,最终得到现在 WithAnyone 模型。

当然,模型结构和训练目标上都有重大创新,我们总结了一下要点:

  • 参考图像编码双通道:每个参考通过人脸识别网络(获取身份判别向量)与通用图像编码器(捕获中层视觉特征)分别编码;人脸嵌入仅作用于对应人脸区域,避免跨脸信息泄露。
  • 对比式学习:把 “正确的同一身份但风格 / 姿态不同的样本” 拉近,把 “不同身份的样本” 推远;通过大量负样本,模型学到 “识别同一人而非重复一张脸的能力”。
  • 度量与优化目标:除了常用的扩散 / 重构损失外,加入 ID-contrastive 与对齐到 ground-truth 的 ID 损失,平衡 “相似” 与 “变化” 的张力。

WithAnyone 如何体验?

WithAnyone 已经全面开源。团队提供了:代码、模型权重、数据集样例与评测基准(MultiID-Bench) 的公开链接(论文内 project page / Hugging Face / GitHub),便于社区复现与扩展。还有 ComfyUI 支持,期待社区开发出更多玩法!

  • GitHub: https://github.com/Doby-Xu/WithAnyone
  • ComfyUI 仓库: okdalto/ComfyUI-WithAnyone: ComfyUI version of WithAnyone
  • 项目主页: https://doby-xu.github.io/WithAnyone/
  • 在线 Demo: https://huggingface.co/spaces/WithAnyone/WithAnyone_Demo

WithAnyone 不只是一次技术突破,更是一次让 AI “懂得同框” 的尝试,希望这项技术能让每一张 AI 合照都充满温度与故事。从今天起,和任何人,去任何地方 —— 用 WithAnyone,拍下属于你的合照!

相关内容

热门资讯

东京股市旅游股大跌 部分股票跌... 投资者担心中日关系恶化导致访日游客减少,日本东京股市百货公司、运输、消费等旅游相关股票17日遭投资者...
中考生最容易出现的5个落后现象... 进入初三生活后,与初一、初二的课程相比,初三的课程内容不论从量上还是难度上都上了一个台阶。  语文学...
初中语文解题方法及解题思路 初... 很多学生认为,做语文题纯粹是“跟着感觉走,紧抓住梦的手”,做时凭直觉,做完凭运气,“文无定法”,语文...
新学期提高数学成绩的四种方法 ... 一、该记的记,该背的背,不要以为理解了就行  有的同学认为,数学不像英语、史地,要背单词、背年代、背...
初中家长必须知道的三大沟通技巧...  标签效应  当一个人被一种词语名称贴上标签时,他就会作出自我印象管理,使自己的行为与所贴的标签内容...