在当今数字化迅速发展的时代，3D场景生成技术正以惊人的速度改变着游戏开发和机器人研究领域。你是否曾好奇，游戏公司或者机器人团队是如何创建出一个真实感十足的房间场景的呢？答案或许让你大吃一惊：某些团队让AI模型像耐心的室内设计师一样，逐件摆放家具，完成一套场景可能需要耗费8小时以上的时间。而另一部分团队则选择了捷径，只需一张房间照片，便能让AI“照猫画虎”地快速生成场景，然而结果却常常令人哭笑不得——椅子悬在半空中，书架与沙发相互穿插，仿佛置身于一部闹鬼片的现场。显然，这两种方式都无法令人满意。
近日，来自香港大学的研究团队发布了一项名为SceneMosaic的论文，提出了一种全新的3D场景生成方法。这种方法不仅将这两种传统方式的优点结合在一起，还巧妙地解决了一个鲜有人关注的问题：同一个场景是否能生成多种不同但合理的布局？
1. 3D场景生成的困境
在3D室内场景生成领域，研究者们主要分为两派。第一派是智能体式文本到3D生成，简单来说，就是让视觉语言模型担任室内设计师，逐步推理、放置和调整物体。例如，SceneSmith需要耗时2小时33分钟来生成一个场景，而SAGE更是夸张，花费8小时35分钟，还需借助5块H200显卡。这种方式虽然精细，但速度慢得令人难以忍受。
第二派则是参数化图像到3D场景模型，依靠从海量2D图片中学习的视觉先验知识，快速识别物体并生成3D模型。像SAM-3D这样的工具，仅需7分钟就能生成场景，但常常会出现家具位置错误、悬空等问题，导致生成的场景无法直接应用于物理仿真。
2. SceneMosaic的创新思路
SceneMosaic的思路十分直接：先用图像先验技术快速生成初始布局，再通过智能体进行精细修正，以消除物理和逻辑错误。具体流程如下：
2.1 场景重建与结构化
系统首先使用感知智能体从输入的图片中识别出所有物体，为其打标签并绘制2D边界框，接着调用SAM3模型精准地抠出每个物体的轮廓。然后，SAM3D模型将这些2D物体转换为3D网格模型，并提供初始位置、旋转角度和尺寸信息。
2.2 关系推理与场景结构化
接下来，系统会派出一个管理者智能体，负责统筹调度多个专门的任务智能体，推理物体之间的支撑和包含关系。这一过程会生成一个有向无环图（DAG），确保场景的层次结构清晰。
2.3 物理稳定化与智能体修正
为了确保物理合理性，系统会首先对每个局部单元进行物理稳定化处理，确保物体的相对位置符合物理规律。随后，智能体会采用Critic-Actor循环机制进行迭代优化，评论者负责发现问题并提出建议，而执行者则根据这些建议进行具体调整。
3. 生成多样化场景的秘密
SceneMosaic最引人注目的地方在于，它能够从同一个输入生成多种合理的布局变体。通过局部单元的分解，系统可以针对每个局部单元生成多种布局，然后通过笛卡尔组合将这些局部变体结合起来，形成丰富多样的完整场景。
4. 性能表现与用户反馈
在SceneEval-100基准测试中，SceneMosaic在生成基础场景时，仅需0.14小时，而语义质量相当的SceneSmith则需要3.43小时。更为重要的是，SceneMosaic的碰撞率和越界率均为0，成功告别了传统方法中的物体穿模和悬空问题。
5. 未来的展望
尽管SceneMosaic在3D场景生成方面取得了显著进展，但仍然存在一些局限性，例如当前只能生成房间级别的场景，尚未扩展到多房间或整栋建筑的生成。
综上所述，SceneMosaic的创新方法不仅提升了生成效率，还为场景多样性提供了新的思路，值得在未来的研究和应用中进一步探索。返回搜狐，查看更多