字节跳动发布 3D 生成大模型 Seed3D 2.0

字节跳动发布 3D 生成大模型 Seed3D 2.0

去年,Seed3D 1.0 探索了从单张图像到高质量 3D 模型的端到端生成,并在纹理生成方面取得突破。今天,我们正式发布更高精度的新一代 3D 生成大模型——Seed3D 2.0。团队围绕几何精度和材质质量对模型进行了架构升级,并拓展了 3D 内容的下游可用性。

Seed3D 2.0 引入 Coarse-to-Fine 两阶段生成策略,把“整体结构”和“几何细节”解耦,分开优化,从而在锐利边缘、薄壁结构和复杂拓扑等几何生成难点上取得突破。

字节跳动发布 3D 生成大模型 Seed3D 2.0

Seed3D 2.0 几何生成的完整流程

同时,Seed3D 2.0 采用统一的 PBR 生成模型联合建模完整 PBR 贴图,使用 MoE 架构提升高分辨率材质细节与边界精度,并且引入 VLM 先验,增强未知光照下的材质分解稳定性与准确性。

字节跳动发布 3D 生成大模型 Seed3D 2.0

Seed3D 2.0 的纹理生成流程

在几何与纹理之外,Seed3D 2.0 能完成部件级分割与补全、铰接资产生成以及基于图像、视频或文本的场景组合生成,让生成式 3D 模型可应用于实际部署。

字节跳动发布 3D 生成大模型 Seed3D 2.0

Seed3D 2.0 的仿真场景生成流程

性能评估

我们对 Seed3D 2.0 的生成效果进行了系统的用户研究评测,招募了 60 位具有 3D 建模经验的人类打分员,对Seed3D 2.0 和六个主流模型的生成质量进行两两盲评对比。

字节跳动发布 3D 生成大模型 Seed3D 2.0

评估分为纯几何结构生成对比和带有纹理贴图的 3D 生成两部分

Seed3D 2.0 在几何形状生成的对比测试中展现出显著优势,相比所有其他 3D 生成模型呈现更高的偏好率(人类打分员认为其生成质量更优的比例),验证了架构创新带来的几何质量提升。

在纹理 3D 内容生成的人类打分中,Seed3D 2.0 同样领先其他基线方法,面对目前行业内主流模型,Seed3D 2.0 的偏好率达到 69% 以上。

下游任务探索
部件级生成

在许多下游场景中,完整的 3D 物体需被拆解为功能性部件,例如在交互式系统中需要可独立操控的物体组件,仿真环境中需要可关节化运动的部件结构。因此,Seed3D 2.0 进一步拓展了建模的灵活性,可实现组成部件“分合自如”。

关节化生成

Seed3D 2.0 进一步引入了关节化建模能力,这一过程融合了多模态理解与生成技术。模型首先利用 VLM 把部件拆分为运动学组件,并识别关节类型(如“可旋转部件”或“固定结构”),再结合几何先验估计关节轴位置。为确保运动的物理合理性,模型还引入图生视频模型生成运动参考,以优化关节部件的运动范围,最终模型可输出带有完整关节信息、以 URDF 等标准格式呈现的 3D 内容,实现与 Isaac Sim 等主流物理仿真引擎的兼容。

场景组合

Seed3D 2.0 的单一物体生成能力还可以拓展到场景生成。为实现合理的对象排列,Seed3D 2.0 选择根据不同的输入条件智能适配布局策略:对于文本输入,利用微调过的 LLM 进行空间关系推理和布局生成;对于多视角图片或视频输入,模型额外利用深度估计等视觉信号,以及实例分割和遮挡修复等能力,来推理场景空间布局。获取布局后,Seed3D 2.0 可以逐个生成 3D 内容,并按照空间关系进行组合,构建丰富且完整的场景。

🔗 Seed大模型平台 产品官网
本文观点不代表发现AI立场,转载请联系原作者。

(0)
资讯组小编的头像资讯组小编
豆包海外版Dola总榜大幅上升31名;liblib双榜排名持续上升 | AI产品周榜
上一篇 3小时前
下一篇 2小时前

扫码关注我们,了解最新AI资讯~

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注