腾讯混元团队 投稿

量子位 | 公众号 QbitAI

3D生成如今在可用性上已经达到了一眼惊艳的程度。

但数据质量参差、评估标准缺失、长尾类别覆盖不足这三大痛点，依然困扰着该领域的研究者们。

针对于此，腾讯混元3D团队在最新技术报告《HY3D-Bench: Generation of 3D Assets》中，正式开源了一套革命性的3D内容生成生态系统。

该工作通过自动化数据清洗流水线，从Objaverse等大规模原始库中筛选并处理了25.2万个高质量3D资产，提供包括水密网格、多视角渲染图像在内的“即用型”数据集，同时还包含24万个3D部件分解结果，显著降低了3D生成模型的训练门槛。

另外，为补充学术数据集多样性不足，创新性地引入AIGC驱动合成管道，利用LLM生成语义描述、扩散模型生成图像，并通过HY3D-3.0引擎转化为高保真3D资产，均匀覆盖了1252个类别，平衡了常见类别和长尾类别数据分布的差异。

实验显示，基于该基准的轻量级模型（Hunyuan3D-2.1-Small）在生成质量和推理速度上均优于传统方法，该数据集为机器人仿真、虚拟现实等下游应用提供了坚实的数据基石。

数据集组成

高质量基准数据集的可用性始终是3D生成模型发展的核心制约因素。早期基准数据集如ShapeNet虽为3D生成研究奠定基础，但存在类别覆盖失衡、几何结构简单、数据量不足等根本缺陷，严重限制了模型的泛化能力。这一瓶颈长期阻碍着3D生成技术向实用化场景的推进。

尽管Objaverse等大规模数据集的出现突破了这一僵局——其包含数百万个涵盖关节物体、有机形状等复杂几何的模型，为新一代大尺度3D生成模型铺平道路，但行业仍面临更深刻的挑战：

主流3D生成模型需对原始3D数据进行大量预处理以生成任务特定表示（如渲染图像、水密网格、SDF场）。

这一步骤不仅要求研究者掌握专业数据处理技能，还带来巨大的计算负担。尽管开源脚本能部分自动化流程，但处理百万级3D模型仍需消耗海量GPU/CPU资源，使得预处理成为普惠化研究的“高墙”。

手工建模数据：3D模型数据清洗流水线

腾讯混元团队设计了一套手工建模数据处理流水线，通过自动化过滤与后处理流程，将原始3D资产转化为高质量、训练就绪的数据包。

该流水线首先对海量3D模型进行初步筛选，基于多边形数量阈值、UV映射质量等标准剔除低质资产，确保输入数据的基准质量。在后处理环节：团队通过水密化处理、多视角渲染（提供正交与透视投影图像）以及表面点采样（混合均匀采样与边缘重要性采样）三大步骤，直接输出包含水密网格、渲染图像和点云的标准数据。

这些数据已完全预处理，无需研究者额外操作即可投入3D生成模型（如VAE或Diffusion模型）训练，彻底解决了传统流程中计算资源消耗大、技术门槛高的痛点。

△全级别数据处理流水线部件级分解：像乐高一样拆解3D物体

例如，一辆车会被分解为车门、轮胎等独立模块，再通过面积阈值合并琐碎零件（如螺丝钉），最终确保每个资产包含2-50个合理部件。这相当于把3D生成从“整块雕刻”升级为“模块化拼装”，直接支持可控部件生成。

△部件级数据处理流水线AIGC合成：用扩散模型“造物”

为解决长尾数据稀缺，支持具身智能仿真领域的仿真需求等，团队打造了三步生成管线进行数据合成：

• 文本扩展：收集常见商品类别，用LLM生成各个类别下的详细产品描述。

• 图像生成：借助文生图模型，输出干净背景的RGB图像。

• 3D生成：调用HY3D-3.0模型将图像转为带有材质的高精3D资产。

△生成数据流水线实验结果

团队基于已开源的HY3D-2.1，减小模型大小（参数量832M）并在当前开源手工建模数据集上划分后的训练集上重新训练，并在提供的测试集上进行测试，采用渐进式训练策略（从512 token逐步提升至4096 token）。关键数据如下：

• 生成质量：相比优化方法（如SDS），推理速度提升5倍，且避免了“多脸怪”（Janus Problem）问题。

• 数据规模：手工建模数据25.2万样本，部件级数据24万样本，合成数据12.5万样本。

手工建模数据大类分布：

部件级数据部件数量分布：

合成数据大类分布：

HY3D-Bench通过构建包含25.2万高质量资产的标准化数据集、24万部件级结构化标注及12.5万AIGC合成样本，为3D生成研究提供了统一的数据基础，以开源的方式降低技术门槛，让研究者无需重复“造轮子”，可直接聚焦模型创新与应用探索。

实验表明，基于该数据训练的轻量模型（Hunyuan3D-2.1-Small）能够有效支持3D生成任务，为相关领域提供可复现的基准。未来，团队计划扩展更多样的3D资产与多任务适配能力，进一步探索数据驱动方法在3D生成中的潜力。

数据集下载：

https://huggingface.co/datasets/tencent/HY3D-Bench

代码地址：

https://github.com/Tencent-Hunyuan/HY3D-Bench

权重下载：

https://huggingface.co/tencent/HY3D-Bench

技术报告：

https://arxiv.org/pdf/2602.03907