NVIDIA发布可根据多张照片生成3D场景的AI模型ArtiFixer。图片来源:NVIDIA

NVIDIA发布人工智能(AI)模型ArtiFixer,可根据多张照片生成3D场景。

据Gigazine本月23日(当地时间)报道,ArtiFixer可对照片未覆盖区域进行生成式补全,重点缓解现有3D重建方法中常见的画质下降和场景一致性不足问题。

ArtiFixer基于视频生成AI模型Wan 2.1开发,参数规模约169亿。其核心思路是对照片未拍摄到的区域进行重新生成和填补。NVIDIA表示,该方法可提升3D场景生成质量。

这项研究主要针对“3D高斯溅射”在基于多张图片生成3D场景时的局限。传统方法往往难以保持场景一致性,而在照片未覆盖区域,结构和细节也更容易出现失真。对此,ArtiFixer通过对缺失区域进行生成式补全来弥补上述不足。

从训练流程看,ArtiFixer采用两阶段方案。第一阶段训练具备缺失区域补全能力的模型;第二阶段再将其蒸馏为一个可由单帧扩展生成数百帧图像的自回归模型。NVIDIA表示,这一过程并非单纯还原已有内容,而是基于有限视角输入,逐步扩展并构建更完整的场景。

NVIDIA此次共推出三个版本。基础版ArtiFixer为自回归模型,可生成多视角图像;ArtiFixer3D则将其输出进一步蒸馏为3D表示;ArtiFixer3D+是在此基础上,再将自回归模型作为后处理步骤引入的版本。

在对比测试中,ArtiFixer生成的场景整体更清晰;ArtiFixer3D在一致性方面表现更好,但画面略显模糊;ArtiFixer3D+则同时兼顾清晰度与一致性。NVIDIA还展示了其与3DGUT、GenFusion、GSFixer等方法的对比示例。结果显示,ArtiFixer3D+生成的3D场景质量更高。

NVIDIA同时提到,ArtiFixer的应用范围也在进一步拓展。即便是在物体密集的室内照片等复杂环境中,该模型也能生成较高质量的3D场景,适用于仅凭有限照片还原室内空间或复杂物体结构的任务。

目前,NVIDIA已通过研究页面和Hugging Face公开相关信息。此次发布也显示,基于照片的3D重建正在从“重建”进一步走向对不可见区域的“生成式补全”。不过,这一方案后续能否稳定接入实际3D制作流程,并在复杂场景中持续保持一致性与清晰度,仍有待观察。

关键词

#NVIDIA #ArtiFixer #ArtiFixer3D #ArtiFixer3D+ #3D重建 #3D高斯溅射 #Wan 2.1 #自回归模型 #Hugging Face #3D场景生成
版权所有 © DigitalToday。未经授权禁止转载或传播。