在 AI 时代,当文生图早已是秒出“大片”,文生视频也能复刻好莱坞级特效时,3D 生成却仍停留在难以令人满意的阶段——细节模糊、结构失真,缺乏立体感。
当你满怀期待地输入“一个透明的玻璃瓶”,AI 却只给出了一个实心的“泥疙瘩”。当你想要一座椰林摇曳、白沙碧海的海滨小镇,得到的却是橡皮泥捏成的模糊雕塑。你希望生成一棵枝叶轻盈飘逸的枫树,AI 却无法完整还原枝叶的自然形态与立体结构。
以上种种都是当前 3D 生成模型普遍存在的问题:远看轮廓尚可,一旦拉近观察,或试图进入其内部结构,便处处都“没眼看”了。
近期,微软亚洲研究院发布了 TRELLIS.2,不仅能够生成涵盖金属、塑料、玻璃、木材、水纹等丰富材质的 3D 物体,更能完整构建物体内部的几何结构。TRELLIS.2 既能呈现轻薄透明、层次分明的花瓣,也能在生成玻璃瓶的同时,让瓶内装载的每一件物品都清晰可见。TRELLIS.2 的出现,标志着 AI 生成的 3D 资产迈入了“高保真”阶段,让细节清晰可辨。
以下为 TRELLIS.2 生成效果(上)与其他 3D 模型生成效果(下)的对比:



为了实现这些高质量的生成功能,TRELLIS.2 模型在对 TRELLIS.1 技术、对传统 3D 生成方法迭代的基础上,重塑了底层的技术逻辑。与传统基于场表达的 3D 生成方法不同,TRELLIS.2 创新性地提出了非场(field-free)的新表达——稀疏体素结构 O-Voxel,这一表示方法可以生成具有任意拓扑结构和丰富材质属性的高分辨率 3D 资产,并且大幅减轻了开发者在预处理阶段的负担。
同时,TRELLIS.2 还实现了16倍的空间压缩,让拥有40亿参数的大型生成模型也能高效完成训练和推理。在实际性能表现上,生成512³分辨率的全纹理资产仅需约3秒。
TRELLIS.2 相关链接:
3D生成迈入高精时代:TRELLIS.2带来3D生成“质”的飞跃
如果说 TRELLIS.1 解决了“从无到有”的问题,实现了从单张 2D 图像到 3D 模型的跨越,那么 TRELLIS.2 的核心使命则是完成了“从有到精”的质变,真正生成符合物理规律、具备工程可用性的高质量 3D 资产。
首先,TRELLIS.2 能够实现基于物理的真实材质渲染,复现现实世界的质感表现。
传统 3D 模型生成的物体,表面颜色像是贴上了一张彩色贴纸,无论光照如何变化,颜色始终不变,缺乏真实世界的材质响应。例如,一个金属杯子看起来“像金属”,却不会真正“反光”。
TRELLIS.2 引入成熟的 PBR(基于物理的渲染)技术,让物体在拥有基础色彩的同时,还能精准还原金属度、粗糙度等材质属性。金属表面会随光线角度变化呈现真实反光,粗糙布料则会表现出自然的漫反射效果,甚至支持后期任意的打光调整,使虚拟资产具备与现实物体一致的物理质感。


此外,TRELLIS.2 还引入了对材质透明度的支持,能够真实还原玻璃、塑料等透明或半透明材质的通透性,这是过此前的方法难以实现的能力。

其次,TRELLIS.2 打破了“封闭世界”的魔咒,让开放结构与内部空间得以真实呈现。
传统 3D 生成技术常受限于“水密性(Water-tight)”约束:物体必须是一个密封的“盒子”,不能有开放的表面,也无法呈现复杂的内部空间。这就导致一片本应轻薄的树叶,被强制生成双层结构而变得厚重;一个空杯子,内壁与外壁必须完全闭合,否则无法展现“中空”状态;而像花茎穿透土壤、齿轮嵌套咬合这类需要部件穿插的复杂结构,更是传统 3D 生成技术无法突破的瓶颈。
TRELLIS.2 彻底打破了这个“封闭魔咒”。它支持开放表面与非流形结构,可以精准生成内部空间。生成的树叶可以是单层薄片,边缘锐利、脉络清晰;一个花瓶既有通透的外壁,也拥有真实存在的内部空间;穿插、嵌套等复杂结构也都能够以符合物理规律的空间关系被完整生成。


第三,TRELLIS.2 极致细节把控,以高清晰度还原真实世界
“模糊不清、棱角圆滑”是传统 3D 生成模型的另一大痛点。尖锐棱角被抹平,细小纹理被涂抹成色块,细节信息大量丢失。
TRELLIS.2 将细节精度提升到了一个新高度,最高支持1536³的超高分辨率生成,能够还原微观级别的真实细节。菠萝表皮的尖刺根根分明,布料的花纹细腻逼真且褶皱自然流畅,甚至连物体表面的细小划痕、纹理质感,都能被完美复刻。



两大创新,突破底层架构范式
TRELLIS.2 支持原生端到端 3D 资产生成,无需任何依赖视角的后处理,即可直接生成高保真、全纹理的 3D 资产。其生成效果的质变源于研究员们对底层架构的颠覆性创新。
创新一:“非场”新表达 O-Voxel,告别“水密化”束缚
无论是 TRELLIS.1 还是其他主流 3D 生成技术之所以难以处理开放结构与复杂拓扑,无法生成高精细的物体,主要原因在于这些 3D 生成模型大多依赖等值面场(如符号距离函数)来表征几何形状。这种方法存在一个天然的缺陷,它要求物体必须是封闭的“水密结构”,否则就无法准确计算出距离值。
以前为了将原始 3D 资产转换为场基表达,开发者还需要进行复杂的“水密化”预处理,例如将开放表面强制闭合、把单层结构改成双层。这个过程不仅耗时耗力,还会严重损失模型的细节精度。更关键的是,场基表达完全无法处理非流形结构(如在空间中十字交叉的片状结构)与内部封闭空间,从而导致生成结果只能是缺乏真实感的“实心外壳”。

TRELLIS.2 彻底摒弃了传统的场基表达方法,提出了全新的非表达场稀疏体素结构 O-Voxel。该设计在传统图形学对偶轮廓(Dual Contouring)技术的基础上,创新设计出灵活对偶网格(Flexible Dual Grid),摆脱了水密性与流形约束,能够稳健处理任意几何形状,包括自相交曲面与全封闭内部空间。
研究员们通过新的算法设计,使对偶顶点可以与局部几何特征对齐,有效保留了锐利边缘,并通过对对偶顶点位置和分割权重进行可学习调整,进一步提升了几何表达的灵活性与精度,实现了更丰富多样的拓扑建模。
更值得一提的是,TRELLIS.2 的 PBR 材质并非事后贴图,而是与几何结构“原生生成”。传统 3D 生成技术采用的是分阶段的作业模式:先生成没有色彩的白模几何结构,再通过多视角图像反投影的方式为模型贴附纹理。这种流程对精度要求十分敏感,内部结构或遮挡部分的纹理往往难以准确投射,哪怕是微小的对齐偏差,都会导致纹理错位、模糊,甚至产生“重影”效果。
而 TRELLIS.2 的 O-Voxel 表示,能够让纹理建模与几何建模在同一个 3D 空间中同步完成,纹理是“原生”附着在几何结构上的,就像现实世界中的物体自带材质属性一样。无论是复杂的内部结构,还是细微的表面褶皱,纹理都能精准贴合,让模型质感更贴近真实。

O-Voxel 还支持与原始 3D 资产的即时双向转换。借助快速网格映射技术,它可以实现高分辨率转换,且计算开销极低,同时避免了现有方法中耗时的符号距离函数评估、泛洪填充和迭代优化流程。整个转换过程无需复杂的预处理,也不会损失任何细节,研究者和开发者不必再为数据转换耗费大量时间,从而可以将更多精力集中在模型优化与创意设计上。
创新二:超级压缩引擎“瘦身不损质”,实现16倍高效压缩
在图像领域,16倍数据压缩已是常态,但 TRELLIS.2 出现之前,3D 领域对 8 倍以上的潜空间压缩率缺乏系统性研究,多数方法都局限于 8 倍及以下压缩水平,而更高压缩比下兼顾模型几何结构与外观高保真度的可行性,未得到充分的探索验证。之所以 TRELLIS.2 能够稳定生成高达1536³的超高分辨率 3D 资产,其核心秘诀就在于内置的强大“压缩引擎” Sparse Compression VAE(SC-VAE,稀疏压缩变分自编码器)。

SC-VAE 采用残差自编码设计,搭配 ConvNeXt 风格的残差块,能够在对 O-Voxel 结构完成16倍下采样的同时,最大限度保留 3D 模型的几何细节与材质信息。它能将一个1024³分辨率的全纹理 3D 资产,压缩至仅约9.6K的 latent tokens,且重建后的模型在视觉效果上几乎没有任何可感知的损失。
这意味着 TRELLIS.2 可以用更少的计算资源生成更高精度的 3D 模型,让训练40亿参数的大规模 3D 生成模型从理论变为现实,直接带来了生成效率的显著提升。实验结果显示,TRELLIS.2 在 NVIDIA H100 GPU 上,生成512³分辨率的全纹理资产仅需约3秒,1024³分辨率仅需17秒,1536³分辨率也仅需60秒。
TRELLIS 中的这一系列创新并非凭空诞生,而是建立在研究员们对计算机图形学领域知识的回溯与重构之上。微软亚洲研究院首席研究员杨蛟龙表示:“当前的AI研究有时会陷入思维定式,只在现有框架内做增量改进,但真正的突破往往来自对领域底层认知的回归和深度挖掘。TRELLIS.2 的进展正是源于团队对计算机图形学的浓厚兴趣,我们将数十年来的经典图形学概念与技术加以拆解、重塑,再与当下前沿的深度学习算法相结合,最终构建出了这一全新的 3D 资产生成范式。”
未来每个人都可以是赛博世界的“造物主”
TRELLIS.2 的创新特性与强大功能,吸引了学术界与工业界的广泛关注。自2025年12月开源以来,TRELLIS.2 已在 GitHub 上斩获3.1K颗星,大批研究者与开发者主动咨询、申请试用,更有不少团队直言自己在“等米下锅”,希望借助这项技术加速推进自身项目。大家对 TRELLIS.2 的未来迭代也充满期待,呼声最高的需求包括支持多图输入以提升生成准确性、解锁文生 3D 能力、新增文本驱动的模型修改功能等。
针对这些需求,微软亚洲研究院的研究员们正持续推进探索与研发。他们期待,未来普通用户只需上传一张照片或输入一段文字描述,就能快速定制专属的 3D 物品设计,甚至可直接连接 3D 打印机,将虚拟模型转化为触手可及的现实物品。
对专业创作者而言,TRELLIS.2 将是一个强大的生产力工具。例如,游戏建模师无需再从零开始“捏泥巴”式建模,借助 TRELLIS.2 即可快速生成高质量的基础模型,再在此之上进行精细编辑、打光优化,将极大压缩开发周期、降低人力成本,让创造力得到更充分的释放。
“我们的愿景是让 3D 生成像文生图、文生视频一样简单、便捷,让每个人都能成为‘赛博世界’的造物主。”杨蛟龙说。