摘要：创建高保真室内环境3D模型对于设计、虚拟现实和机器人技术等领域的应用至关重要。然而，人工3D建模仍然耗时且费力。尽管生成式人工智能的最新进展推动了场景自动合成的实现，但现有方法在平衡视觉质量、多样性、语义一致性和用户控制方面仍面临挑战。一个主要瓶颈在于缺乏针对该任务定制的大规模、高质量数据集。为填补这一空白，我们推出一个全面的合成数据集，其中包含12,328个结构化标注场景（涵盖57,440个房间）和470万张逼真的2D渲染图。利用该数据集，我们提出了SpatialGen——一种新颖的多视图多模态扩散模型，可生成逼真且语义一致的3D室内场景。给定一个3D布局和一张参考图像（由文本提示生成），我们的模型能够从任意视角合成外观（彩色图像）、几何结构（场景坐标图）和语义信息（语义分割图），同时保持跨模态的空间一致性。实验表明，SpatialGen始终能生成优于先前方法的结果。我们将开源数据和模型，以赋能社区并推动室内场景理解与生成领域的发展。Huggingface链接：Paper page，论文链接：2509.14981

研究背景和目的

研究背景：
随着设计、虚拟现实（VR）和机器人技术的快速发展，创建高保真度的3D室内环境模型变得至关重要。然而，传统的手工3D建模过程耗时且劳动密集，难以满足日益增长的需求。尽管近年来生成式人工智能（AI）在自动化场景合成方面取得了进展，但现有方法在平衡视觉质量、多样性、语义一致性和用户控制方面仍面临挑战。一个主要瓶颈是缺乏针对此任务的大规模高质量数据集。为了解决这一问题，研究者们开始探索利用合成数据集和先进的生成模型来改进3D室内场景生成。

研究目的：
本研究旨在通过引入一个全面的合成数据集和一个新颖的多视图多模态扩散模型（SpatialGen），来推动3D室内场景生成领域的发展。具体目标包括：

1. 构建大规模高质量数据集：创建一个包含大量结构化注释场景和 photorealistic 2D渲染的合成数据集，以支持训练高性能的3D场景生成模型。
2. 提出新颖的生成模型：设计一个基于3D布局先验的多视图多模态扩散模型，能够生成语义一致且几何精确的3D室内场景。
3. 改进场景生成质量：通过实验验证所提方法在生成高质量、多样化且语义一致的3D室内场景方面的优势。
4. 推动社区和领域发展：开源数据集和模型，赋能社区并推动室内场景理解和生成领域的发展。

研究方法

1. 数据集构建：

• 数据来源：数据集基于一个在线室内设计平台的专业设计，这些设计由专业设计师创建，旨在实际生产中使用。
• 数据筛选：通过多阶段筛选流程确保数据质量和多样性，包括基于设计师评级、渲染数量、总面积和独特对象数量的筛选。
• 渲染与注释：使用行业领先的渲染引擎生成高保真度的全景渲染图，包括颜色、深度、法线、语义和实例分割数据。同时，提供精确的3D布局注释。
• 相机轨迹模拟：模拟物理上合理的相机轨迹，在每个房间内平滑导航，同时避免障碍物，以生成全面的场景覆盖。

2. 模型设计：

• 布局引导的多视图多模态扩散模型：将3D语义布局转换为视图特定的表示，包括粗略的语义图和场景坐标图。设计了一个布局引导的注意力机制，通过交叉视图注意力和交叉模态注意力实现一致的信息传播和细粒度特征对齐。
• 迭代密集视图生成策略：采用迭代方式生成密集视图，每次迭代维护一个全局彩色点云，以确保场景的完整覆盖。
• 3D重建与理解：基于生成的密集视图，使用现成的重建方法（如RaDe-GS）重建3D场景表示，并通过优化深度监督损失实现快速收敛。

3. 实验设计：

• 基准数据集：使用现有数据集（如Hypersim和Structured3D）和新构建的数据集进行实验。
• 评估指标：采用CLIP相似度分数和Image Reward等2D渲染指标来评估文本图像对齐和人类审美偏好。
• 对比实验：与现有的布局条件化文本到3D场景生成方法（如Set-the-Scene和SceneCraft）以及全景图作为代理的方法（如Ctrl-Room）进行对比。

研究结果

1. 数据集统计：

• 新构建的数据集包含12,328个独特场景，57,440个房间，以及470万张全景渲染图。该数据集在场景多样性和相机视角方面显著优于现有数据集。

2. 模型性能：

• 定量结果：在Hypersim和自建数据集上，SpatialGen在CLIP相似度分数和Image Reward等指标上均优于对比方法。特别是在自建数据集上，SpatialGen的性能提升更为显著。
• 定性结果：SpatialGen生成的场景在视觉质量和语义一致性方面表现优异，能够生成细节丰富且布局忠实的场景。相比之下，对比方法如Set-the-Scene和SceneCraft在生成复杂场景时存在模糊和细节丢失的问题。
• 消融实验：通过消融实验验证了布局指导的有效性。去除布局指导的模型在遮挡区域产生伪影，且几何和语义预测质量下降。而完整模型则能够利用显式布局指导实现优越的新型视图合成和更准确的几何和语义预测。

3. 视图生成能力：

• 在不同相机轨迹下的实验表明，SpatialGen能够处理大幅度的视图变化，并在所有轨迹下生成语义一致的视图。特别是在随机游走轨迹下，SpatialGen仍能保持高质量的结果，而对比方法如Ctrl-Room则出现严重失真和尺度错位。

研究局限

1. 计算成本：

• 交叉视图和交叉模态注意力机制引入了额外的计算成本，限制了SpatialGen一次生成的图像数量。未来工作需要探索更高效的注意力机制或模型压缩技术，以降低计算成本并提高生成效率。

2. 相机采样策略：

• 当前的相机采样策略可能影响生成质量。未来可以探索更智能的相机采样策略，以进一步提高生成场景的多样性和质量。

3. 数据集规模与多样性：

• 尽管自建数据集在规模和多样性方面已显著优于现有数据集，但仍存在进一步扩展和优化的空间。未来可以探索结合主动学习、半监督学习等技术，进一步提升数据集的多样性和质量。

未来研究方向

1. 更大规模模型与数据集的探索：

• 未来可以探索基于更大规模骨干模型（如72B参数或更大）的奖励模型，验证模型规模对性能提升的潜力。同时，进一步扩展数据集规模，覆盖更多任务和场景，提升模型的泛化能力。

2. 多模态与跨模态奖励建模：

• 研究多模态和跨模态奖励建模方法，使模型能够处理更复杂的多模态输入和输出。例如，结合视觉、语言、音频等多种模态的信息，提升奖励模型在复杂场景下的判断能力。

3. 高效训练策略与模型优化：

• 探索更高效的训练策略，如多任务学习、迁移学习等，以提升模型在有限资源下的性能。同时，研究模型压缩和加速技术，降低模型部署成本，提高实际应用中的效率和可用性。

4. 实际应用与部署：

• 将研究成果应用于实际场景中，验证奖励模型在真实世界中的有效性和鲁棒性。例如，在虚拟现实、机器人导航、室内设计等领域部署奖励模型，提升这些领域的技术水平和用户体验。

5. 可解释性与可信度研究：

• 研究奖励模型的可解释性和可信度，探索如何使模型输出更易于理解和验证。例如，通过可视化技术、注意力机制等方法，揭示模型决策过程的关键因素，提升用户对模型输出的信任度。

6. 持续迭代与优化：

• 根据实际应用中的反馈和新的研究成果，持续迭代和优化奖励模型。例如，定期更新数据集、调整模型架构、优化训练策略等，以保持模型在快速变化的技术环境中的竞争力和实用性。