注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】

清华《GPT多模态大模型与AI Agent智能体》书籍配套视频课程【陈敬雷】

GPT多模态大模型与AI Agent智能体系列一百三十六

具身智能机器人终于有了 “三维大脑”！3D-VLA 破解动态场景推理难题，动作误差仅 0.02m

3D-VLA：三维具身环境中视觉 - 语言 - 行动融合的创新范式​
一、引言：现有 VLA 模型的局限与 3D-VLA 的提出背景​
在人工智能与机器人技术深度融合的当下，视觉 - 语言 - 行动（Visual-Language-Action, VLA）模型已成为推动具身智能发展的核心技术之一。这类模型旨在让机器理解人类语言指令、感知视觉环境，并转化为具体的物理行动，最终实现 “感知 - 理解 - 执行” 的闭环。然而，当前主流的 VLA 模型普遍受限于二维输入范式，未能充分融入三维物理世界的本质特征，导致其在机器人操作场景中面临诸多关键瓶颈。​
现有 VLA 模型（如 FLAVA、MiniGPT-4-V2、PaLM-E 等）大多依赖 RGB 图像作为视觉输入，仅能捕捉场景的平面信息，缺乏对深度、体积、空间位置关系的精准感知。这种二维依赖在机器人实际操作中会引发一系列问题：例如，在 “抓取桌面上的水杯” 任务中，二维模型无法准确判断水杯与机器人末端执行器的垂直距离，可能导致抓取偏移或力度失控；在 “整理书架” 场景中，模型难以区分书籍的堆叠层次，无法规划合理的取放路径。更重要的是，多数现有模型忽视了世界的动态性—— 现实环境中物体的位置、姿态会随时间变化（如滚动的小球、移动的家具），而二维 VLA 模型无法建立 “行动与动态场景演变” 的关联，既无法预测行动后场景的未来状态，也无法根据动态变化调整行动策略。​
反观人类的具身认知能力，我们在执行任务时会自然构建 “世界模型”：看到一杯水时，大脑会自动想象 “伸手 - 握住 - 抬起” 的完整动作序列，同时预测水杯被拿起后桌面的空出区域、手部与水杯的接触状态等三维场景变化。这种 “基于想象的决策能力” 正是现有 VLA 模型的核心缺失。为填补这一技术空白，麻省大学阿默斯特分校的研究团队提出了3D-VLA—— 一种将 3D 感知、三维推理与行动规划紧密整合的生成式世界模型。该模型通过引入三维数据模态、设计交互感知机制及生成式预测模块，首次实现了 “从语言指令到三维场景想象，再到机器人精确行动” 的端到端能力，其开源代码已发布于 GitHub（https://github.com/UMass-Foundation-Model/3D-VLA），为机器人领域的三维具身智能研究提供了重要参考。​
二、3D-VLA 的模型与方法：三维融合的技术架构​
3D-VLA 的核心创新在于打破了二维输入的桎梏，构建了 “3D 感知 - 生成式推理 - 行动指导” 的一体化框架。以下从构建原理、数据集构建、生成与决策、扩散模型与对齐四个维度，详细解析其技术细节。​
（1）构建原理：基于 3D 大模型的交互增强架构​
3D-VLA 的基础架构建立在3D 大模型之上，而非传统的二维视觉模型或轻量化 3D 感知模块。选择 3D 大模型作为基底，主要基于两点考量：一是 3D 大模型（如 PointBERT、VoteNet 等）通过大规模三维数据预训练，已具备对复杂场景中物体形状、空间关系的泛化理解能力，能处理家具、工具、日常用品等多样化物体的三维特征；二是 3D 大模型的 Transformer 架构支持多模态信息融合，可自然接入语言指令与行动数据，为 “视觉 - 语言 - 行动” 的协同提供底层支撑。​
为进一步增强模型与具身环境的交互能力，研究团队创新性地引入了交互 Tokens（Interaction Tokens） 。这类 Tokens 并非简单的特征向量，而是包含 “机器人 - 物体交互状态” 的结构化信息：具体包括物体的接触状态（如 “未接触”“部分接触”“完全抓取”）、交互力反馈（通过机器人传感器间接建模，如抓取时的压力阈值）、物体姿态变化趋势（如被推动时的运动方向）。交互 Tokens 通过嵌入层融入 3D 大模型的编码器，与视觉 Tokens（来自点云、RGB-D 图像）、语言 Tokens（来自指令编码）形成三足鼎立的输入结构，三者通过交叉注意力机制实现信息交互 —— 例如，当接收到 “将红色盒子推到货架第二层” 的指令时，语言 Tokens 会激活与 “红色盒子”“货架第二层” 相关的视觉 Tokens，而交互 Tokens 则会预测 “推动” 动作对应的接触点与力反馈，为后续行动规划提供依据。​
此外，为注入生成式能力（即 “想象未来场景” 的能力），3D-VLA 训练了一系列具身扩散模型（Embodied Diffusion Models） 。这类模型的核心目标是根据初始三维场景与语言指令，预测任务完成后的目标场景 —— 具体包括两部分输出：一是目标 RGB-D 图像（包含场景的颜色与深度信息），二是目标点云（包含场景中物体的三维坐标与形状信息）。具身扩散模型并非孤立训练，而是与 3D 大模型进行深度对齐：3D 大模型负责提取初始场景的三维语义特征与指令的语言特征，将其作为扩散模型的条件输入；扩散模型则通过迭代去噪过程生成目标场景模态，再将生成结果反馈给 3D 大模型进行误差修正，形成 “特征提取 - 生成预测 - 误差反馈” 的闭环训练机制。​
值得注意的是，3D-VLA 的训练数据并非从零构建，而是基于现有机器人数据集提取3D 相关信息，最终形成大规模 3D 具身指令数据集。这一策略既降低了数据采集的成本（避免重新设计机器人实验并采集三维数据），又保证了数据的真实性与多样性 —— 现有机器人数据集（如 EPIC-KITCHENS、ManipulaTHOR、RoboNet 等）已包含大量真实世界中的机器人操作视频与动作数据，3D-VLA 通过技术手段从中提取三维信息，使其满足模型训练需求。​
（2）数据集构建：从二维数据中挖掘三维价值​
现有机器人视频数据集（如上述 EPIC-KITCHENS）虽包含丰富的 RGB 视频与动作标签，但普遍缺乏 3D 信息（如深度图、点云、3D 边界框），无法直接用于 3D-VLA 的训练。为此，研究团队设计了一套完整的3D 语言 - 动作对提取流程，从二维数据中挖掘三维价值，具体步骤如下：​
步骤 1：深度与光流估计 —— 补全三维空间信息​
针对数据集仅含 RGB 视频的问题，3D-VLA 首先使用ZoeDeep模型进行单目深度估计，生成每一帧视频的深度图。ZoeDeep 是当前主流的单目深度估计模型，基于 Transformer 架构与多尺度特征融合技术，能从单张 RGB 图像中精准预测像素级的深度值 —— 其优势在于无需依赖双目相机或激光雷达，仅通过单目视频即可生成高质量深度图，且推理速度快（帧率可达 15fps），适合处理大规模视频数据集。在实验中，ZoeDeep 的深度估计误差（相对误差）控制在 5% 以内，满足机器人操作对深度精度的要求（如抓取任务需深度误差小于 1cm）。​
同时，为捕捉场景的动态性（如物体的运动轨迹），3D-VLA 使用RAFT（Recurrent All-Pairs Field Transforms） 模型进行光流估计。RAFT 通过构建循环迭代的光流场更新机制，能精准计算相邻帧之间像素的运动向量，从而捕捉物体的平移、旋转等运动状态。例如，在 “机器人推动杯子” 的视频中，RAFT 可准确估计杯子在每一帧的运动方向与速度，为后续动态场景推理提供数据支撑。通过深度估计与光流估计，原本的二维 RGB 视频被转化为包含 “颜色（RGB）- 深度（D）- 运动（光流）” 的多模态序列，为三维信息提取奠定基础。​
步骤 2：3D 模态生成 —— 从深度图到点云与边界框​
在获得 RGB-D 图像（RGB + 深度图）后，3D-VLA 通过点云生成算法将其转化为点云数据。具体而言，点云生成基于相机内参（如焦距、主点坐标）与深度图的像素位置，通过坐标变换公式（将像素坐标转换为世界坐标系下的三维坐标），生成包含数十万点的点云 —— 每个点包含 x、y、z 三个空间坐标与 R、G、B 三个颜色值，完整保留物体的三维形状与外观特征。为降低点云的冗余度，模型还会对生成的点云进行下采样（使用 FPS 采样算法），将点云数量控制在 2048-4096 个，既保证形状信息不丢失，又提高后续模型处理的效率。​
随后，3D-VLA 使用PointRCNN模型（基于点云的 3D 目标检测模型）生成 3D 边界框。PointRCNN 通过点云分割与边界框回归，能精准定位场景中每个物体的三维包围盒 —— 例如，对于桌面上的水杯，3D 边界框可给出其在世界坐标系下的中心坐标（x0,y0,z0）、长宽高（l,w,h）及旋转角度（roll,pitch,yaw），从而明确物体的空间位置与姿态。这一步骤的核心价值在于：将无序的点云转化为结构化的物体信息，为模型理解 “物体间空间关系”（如 “水杯在桌子上方”“书本在盒子内部”）提供依据。​
步骤 3：动作与语言标注 —— 构建指令 - 场景 - 动作关联​
在提取三维视觉信息的同时，3D-VLA 还从数据集中提取机器人的七维动作数据。这七维动作包含机器人末端执行器的位姿与控制参数：其中 3 个维度对应空间位置（x,y,z 坐标，描述末端执行器的位置），3 个维度对应姿态（roll,pitch,yaw 角度，描述末端执行器的朝向），1 个维度对应抓取力度（0-1 之间的数值，0 表示松开，1 表示最大抓取力）。这些动作数据来自机器人的控制日志，能精准反映机器人在操作过程中的每一步行动，是模型学习 “动作如何影响场景变化” 的关键依据。​
为构建 “语言指令 - 三维场景 - 动作” 的关联，研究团队利用ChatGPT生成多样化的语言注释。具体而言，他们设计了结构化的 Prompt 模板，例如：“基于以下场景与动作，生成对应的语言指令和任务描述：初始场景包含 [物体 A、物体 B、物体 C]，物体 A 的 3D 边界框为 [参数]，物体 B 的 3D 边界框为 [参数]；机器人的动作序列为 [七维动作 1，七维动作 2，…，七维动作 N]；任务完成后，物体 A 的 3D 边界框变为 [参数]。请生成：1. 人类友好的指令（如‘将物体 A 放到物体 B 旁边’）；2. 场景变化描述（如‘物体 A 从初始位置移动到物体 B 右侧，高度下降 5cm’）；3. 动作目的解释（如‘动作 1 用于接近物体 A，动作 2 用于抓取物体 A，动作 3 用于移动物体 A’）。” 通过这种方式，ChatGPT 生成了海量与三维场景、动作精准匹配的语言数据，有效解决了人工标注成本高、效率低的问题。同时，研究团队还引入人工筛选环节，对 ChatGPT 生成的注释进行校验，剔除与实际场景不符的内容（如将 “红色杯子” 描述为 “蓝色杯子”），确保语言标注的准确性。​
最终，通过上述流程，3D-VLA 构建了包含100 万 + 3D 语言 - 动作对的大规模数据集，每个数据样本包含：初始 RGB-D 图像、初始点云、初始 3D 边界框、机器人七维动作序列、目标 RGB-D 图像、目标点云、目标 3D 边界框、语言指令与描述。该数据集覆盖了家庭服务（如整理桌面、递物、烹饪辅助）、工业操作（如零件装配、货物搬运）、医疗辅助（如器械递送）等 12 类场景，为模型的泛化能力训练提供了充足数据支撑。​
（3）生成与决策：基于三维想象的行动规划​
3D-VLA 的核心竞争力在于其生成式决策能力—— 即根据用户的语言指令，先 “想象” 出任务完成后的目标三维场景，再基于这一想象结果规划机器人的动作序列。这一过程完全模拟了人类的具身认知逻辑，打破了传统 VLA 模型 “从指令直接映射到动作” 的简单范式，大幅提升了行动的精准性与合理性。​
目标场景生成：从指令到三维模态的映射​
当用户输入语言指令（如 “将绿色积木堆叠到黄色积木上”）时，3D-VLA 首先通过语言编码器（基于 T5 架构）将指令转化为语言嵌入向量，该向量包含指令的语义信息（如 “绿色积木”“黄色积木”“堆叠”）与目标关系（如 “绿色积木在黄色积木上方”）。随后，语言嵌入向量与初始三维场景的特征（来自 3D 大模型的编码器输出，包含初始点云、3D 边界框的语义特征）通过交叉注意力机制融合，形成 “指令 - 初始场景” 的联合特征。​
这一联合特征被输入到具身扩散模型中，作为生成目标场景的条件。扩散模型通过 100 步迭代去噪过程，逐步生成目标 RGB-D 图像与目标点云：初始阶段，模型向随机噪声中注入 “指令 - 初始场景” 特征；随着迭代步数增加，噪声逐渐减少，场景细节不断丰富，最终生成与指令完全匹配的目标模态。例如，在 “堆叠积木” 任务中，扩散模型会生成 “绿色积木位于黄色积木顶部” 的 RGB-D 图像，同时生成对应的点云（清晰显示两块积木的堆叠关系）。为保证生成结果的合理性，模型还会引入物理约束损失—— 例如，生成的目标点云中，绿色积木的底部必须与黄色积木的顶部重合，且两块积木不能出现穿透（即点云无重叠区域），从而避免出现违反物理规律的场景（如积木悬浮在空中）。​
动作序列规划：从目标场景到机器人控制​
生成目标场景后，3D-VLA 需要将 “场景变化” 转化为 “机器人可执行的动作”，这一过程依赖于动作 Tokens与位置 Tokens的协同作用。位置 Tokens 是对物体空间位置的结构化编码，包含物体在初始场景与目标场景中的 3D 边界框参数，通过计算两者的差异（如中心坐标的偏移量、姿态的旋转角度），可确定物体需要移动的 “空间增量”。例如，绿色积木的初始中心坐标为（0.2,0.3,0.1），目标中心坐标为（0.2,0.3,0.25），则位置 Tokens 会编码 “z 轴方向增加 0.15m” 的增量信息。​
动作 Tokens 则负责将 “空间增量” 转化为机器人的七维动作。具体而言，动作 Tokens 包含机器人末端执行器的运动学模型（如关节角度与末端位置的映射关系），通过逆运动学计算，将物体的空间增量转化为末端执行器的位姿变化（x,y,z,roll,pitch,yaw），同时根据物体的重量与材质确定抓取力度（如塑料积木的抓取力度设为 0.3，金属积木设为 0.5）。此外，动作 Tokens 还会规划动作的时间序列 —— 例如，将 “堆叠积木” 任务分解为 “移动到绿色积木上方（动作 1）→ 下降并抓取（动作 2）→ 上升并移动到黄色积木上方（动作 3）→ 下降并松开（动作 4）” 四个步骤，每个步骤对应一组七维动作参数，形成完整的动作序列。​
为进一步优化动作的安全性与效率，3D-VLA 还引入了碰撞检测模块。该模块基于初始点云与动作序列，实时模拟机器人在每个动作步骤中的运动轨迹，检测是否会与场景中的其他物体发生碰撞（如抓取绿色积木时是否会碰到旁边的红色积木）。若检测到碰撞风险，模型会自动调整动作参数（如改变运动路径、调整末端姿态），直至碰撞风险消除。这一机制大幅降低了机器人操作中的故障概率，使其更适应复杂的真实场景。​
（4）扩散模型与对齐：多模态生成的无缝集成​
扩散模型是 3D-VLA 生成能力的核心载体，但单独训练的扩散模型存在两大问题：一是不同模态（RGB-D、点云）的扩散模型生成结果缺乏一致性（如 RGB-D 图像显示积木堆叠，点云却显示积木分离）；二是扩散模型的生成特征与 3D 大模型的嵌入空间不兼容，无法实现 “特征提取 - 生成预测” 的闭环。为此，3D-VLA 设计了跨模态扩散模型训练与特征对齐机制，实现多模态生成的无缝集成。​
跨模态扩散模型：RGB-D 与点云的协同生成​
3D-VLA 同时训练了两类扩散模型：RGB-D 至 RGB-D 扩散模型（输入初始 RGB-D 图像，输出目标 RGB-D 图像）与点云至点云扩散模型（输入初始点云，输出目标点云）。为保证两类模型生成结果的一致性，研究团队采用了联合训练策略：在训练过程中，两类模型共享同一套 “指令 - 初始场景” 联合特征，且通过模态一致性损失关联两者的生成结果 —— 例如，将 RGB-D 扩散模型生成的目标 RGB-D 图像转化为点云后，与点云扩散模型生成的目标点云计算 Chamfer 距离（衡量两点云的相似性），并将该距离作为损失项加入到两类模型的训练目标中。通过这种方式，RGB-D 模型与点云模型会相互约束，生成的目标场景在两种模态下保持高度一致，避免出现 “模态冲突” 问题。​
此外，针对点云生成中 “细节丢失” 的问题（传统扩散模型生成的点云容易出现形状模糊、边缘不清晰），3D-VLA 对於点云扩散模型进行了优化：在扩散模型的解码器中引入注意力增强模块，该模块会聚焦于物体的关键结构（如积木的棱角、杯子的把手），在去噪过程中优先恢复这些细节特征，从而生成更清晰、更精准的点云。实验表明，优化后的点云扩散模型生成的点云，其 Chamfer 距离较传统模型降低了 32%，EMD（Earth Mover’s Distance）降低了 28%，细节保留能力显著提升。​
特征对齐：扩散模型与 3D 大模型的协同​
预训练完成后，3D-VLA 需要将扩散模型的生成特征与 3D 大模型的嵌入空间对齐，确保两者能高效交互。为此，研究团队设计了基于 Transformer 的投影器（Transformer-based Projector） ，其核心功能是将扩散模型解码器的输出特征转化为与 3D 大模型嵌入空间维度一致的向量。​
投影器的结构包含 3 层 Transformer 编码器：输入为扩散模型解码器最后一层的特征图（RGB-D 模型的特征图尺寸为 128×128×256，点云模型的特征图尺寸为 4096×256），通过多头自注意力机制对特征进行重组，再通过全连接层将特征维度映射到 3D 大模型的嵌入维度（1024 维）。对齐训练的目标是最小化特征距离损失：将投影器输出的特征向量与 3D 大模型对同一目标场景提取的特征向量计算 MSE（均方误差），并通过反向传播优化投影器的参数。同时，为避免 3D 大模型的预训练特征被破坏，训练过程中冻结 3D 大模型的参数，仅更新投影器的权重。​
为进一步提高训练效率并避免 “灾难性遗忘”（即对齐训练导致扩散模型忘记之前学到的生成能力），3D-VLA 采用了LoRA（Low-Rank Adaptation）微调技术。具体而言，在扩散模型的注意力层中插入低秩适配器（秩设为 8），对齐训练时仅微调这些适配器的参数，而非整个扩散模型。这种方式不仅大幅减少了训练参数数量（仅为全量微调的 5%），降低了计算成本，还能有效保护扩散模型的预训练权重，避免生成能力退化。实验数据显示，采用 LoRA 微调的扩散模型，其生成目标 RGB-D 图像的 PSNR（峰值信噪比）仅下降 0.2dB，远低于全量微调的 1.8dB，证明了该策略的有效性。​
三、3D-VLA 的训练与优化：提升三维理解与交互能力​
训练与优化是 3D-VLA 性能保障的关键环节。研究团队以BLIP2-PlanT5XL为预训练模型，通过精细化的训练策略，增强模型对三维场景的理解与交互能力，同时实现高效训练。​
（1）预训练模型选择：BLIP2-PlanT5XL 的优势​
选择 BLIP2-PlanT5XL 作为预训练模型，主要基于其在视觉 - 语言融合领域的优异性能：BLIP2 是 Meta 提出的视觉 - 语言预训练模型，通过 “视觉编码器 + Q-Former + 语言模型” 的架构，实现了视觉与语言的深度协同；而 PlanT5XL 是 T5 模型的优化版本，在指令跟随、任务规划等方面表现突出。两者结合的 BLIP2-PlanT5XL，既具备强大的视觉特征提取能力（可处理 RGB-D 图像的多模态信息），又能精准理解复杂的语言指令（如包含多个步骤的任务指令），为 3D-VLA 的三维扩展提供了理想的基础。​
在初始化阶段，3D-VLA 保留 BLIP2-PlanT5XL 的视觉编码器（用于提取 RGB-D 图像的视觉特征）与语言解码器（用于处理语言指令），但对视觉编码器进行了修改：增加了一个深度特征通道，使其能同时处理 RGB 特征与深度特征（传统 BLIP2 仅处理 RGB 特征）。具体而言，深度特征通过单独的卷积层提取后，与 RGB 特征进行通道级联（形成 6 通道特征图，RGB 为 3 通道，深度为 3 通道），再输入到原有的视觉编码器中，从而让模型具备深度感知能力。​
（2）分层解冻训练：精准激活三维交互能力​
为避免训练初期参数震荡过大，3D-VLA 采用分层解冻训练策略，即根据模型组件的功能，分阶段解冻并训练，具体分为三个阶段：​
阶段 1：冻结基础层，训练交互 Tokens 嵌入层（1-10 轮）​
此阶段冻结 BLIP2-PlanT5XL 的视觉编码器底层（前 8 层）与语言解码器底层（前 12 层），仅解冻交互 Tokens 的嵌入层与视觉编码器顶层（后 4 层）。训练目标是让交互 Tokens 能准确编码 “机器人 - 物体交互状态”，并与视觉特征实现初步融合。训练数据采用简单场景（如单一物体的抓取任务），学习率设为 1e-5，优化器使用 AdamW（权重衰减系数为 1e-4）。​
阶段 2：解冻语言解码器顶层，训练生成能力（11-30 轮）​
此阶段在阶段 1 的基础上，解冻语言解码器顶层（后 6 层），开始训练模型的生成式能力。训练数据扩展到复杂场景（如多物体的堆叠、整理任务），训练目标是让模型能根据指令生成合理的目标场景描述。同时，引入生成损失（交叉熵损失），计算模型生成的场景描述与人工标注描述的差异，优化语言解码器的参数。学习率调整为 5e-6，避免参数更新过快导致不稳定。​
阶段 3：全量解冻关键组件，联合优化（31-50 轮）​
此阶段解冻视觉编码器的中间层（9-12 层）与语言解码器的中间层（13-18 层），同时加入扩散模型与投影器的参数，进行联合优化。训练目标是最小化 “生成损失 + 特征对齐损失 + 物理约束损失” 的加权和（权重分别设为 1.0、0.5、0.3），实现模型各组件的协同工作。为提高训练稳定性，采用余弦退火学习率调度，初始学习率为 3e-6，每 5 轮下降 10%，直至训练结束。​
（3）对齐阶段的训练优化​
在对齐阶段（即扩散模型与 3D 大模型的特征对齐），训练目标是最小化大模型与扩散模型的去噪损失。具体而言，将 3D 大模型提取的目标场景特征作为条件，输入到扩散模型的去噪过程中，让扩散模型在去噪时参考大模型的特征，从而生成更符合大模型语义理解的目标场景。去噪损失采用噪声预测损失—— 即扩散模型预测的噪声与真实噪声（扩散过程中添加的噪声）的 MSE，同时加入语义一致性损失—— 计算扩散模型生成的目标场景与大模型预测的目标场景的语义相似度（通过余弦相似度衡量），确保生成结果在语义层面与大模型的理解一致。​
此外，为解决 “小样本场景下模型泛化能力不足” 的问题，3D-VLA 引入了数据增强技术：在训练过程中对初始点云进行随机旋转（±15°）、缩放（0.8-1.2 倍）、加噪（高斯噪声，标准差为 0.01），对 RGB-D 图像进行随机裁剪、亮度调整（±20%）、对比度调整（±20%）。通过数据增强，模型能接触到更多样化的场景变化，泛化能力显著提升 —— 在未见过的 “工具整理” 场景中，模型的任务成功率较无数据增强时提高了 24%。​
四、3D-VLA 的实验与应用：验证三维推理与决策能力​
为验证 3D-VLA 的有效性，研究团队设计了多组实验，从目标生成质量、场景理解能力、机器人操作性能三个维度进行评估，并探索了其在实际场景中的应用价值。​
（1）实验设置：硬件与评估指标​
硬件平台​
实验采用的硬件平台包含：GPU 为 4 张 NVIDIA A100（80GB 显存），用于模型训练与推理；机器人平台为 Franka Emika Panda（7 自由度机械臂，末端执行器为二指夹爪，配备 RGB-D 相机（Intel RealSense D455），用于采集实时三维数据并执行动作；服务器 CPU 为 Intel Xeon Platinum 8375C（32 核 64 线程），用于数据预处理与实验控制。​
评估指标​
针对不同任务，实验采用对应的评估指标：​
RGB-D 生成质量：PSNR（峰值信噪比，越高越好）、SSIM（结构相似性，越高越好）、LPIPS（感知相似度，越低越好）；​
点云生成质量：Chamfer Distance（CD，越低越好）、EMD（越低越好）；​
场景理解能力：指令匹配度（模型生成的目标场景与指令的匹配概率，越高越好）、物体关系识别准确率（如 “上方”“旁边” 等空间关系的识别准确率，越高越好）；​
机器人操作性能：任务成功率（完成指令要求的任务比例，越高越好）、动作误差（机器人实际动作与模型规划动作的 MSE，越低越好）、平均完成时间（完成任务的平均耗时，越低越好）。​
对比模型​
实验选择了当前主流的 VLA 模型作为对比：FLAVA（二维 VLA 模型，无 3D 感知）、MiniGPT-4-V2（二维视觉 - 语言模型，扩展了动作生成能力）、PaLM-E（视觉 - 语言 - 行动模型，依赖二维图像与机器人动作数据）。所有模型均在相同的数据集上进行训练（3D-VLA 的数据集，对比模型使用数据集中的二维信息），确保公平性。​
（2）实验结果分析​
目标生成质量：三维模态优势显著​
在目标 RGB-D 生成任务中，3D-VLA 的 PSNR 达到 32.5dB，SSIM 达到 0.92，LPIPS 达到 0.08，分别较 FLAVA（28.3dB、0.81、0.15）提升 14.8%、13.6%、46.7%；在目标点云生成任务中，3D-VLA 的 CD 为 0.04m，EMD 为 0.02m，较 MiniGPT-4-V2（0.08m、0.05m）降低 50%、60%。这一结果表明，3D-VLA 通过引入三维模态与扩散模型，能生成更清晰、更精准的目标场景，远优于依赖二维输入的对比模型。​
场景理解能力：空间关系与动态推理突出​
在场景理解实验中，3D-VLA 的指令匹配度达到 91%，物体关系识别准确率达到 89%，分别较 PaLM-E（82%、78%）提升 11%、14%。尤其在动态场景（如 “跟踪滚动的小球并将其放入盒子”）中，3D-VLA 的优势更为明显：其能通过光流估计预测小球的运动轨迹，生成 “小球进入盒子” 的目标场景，任务成功率达到 85%，而对比模型因无法处理动态性，成功率均低于 50%。这证明 3D-VLA 具备强大的三维空间关系理解与动态场景推理能力。​
机器人操作性能：精准控制与高效执行​
在实际机器人操作实验中，3D-VLA 在 “抓取 - 放置”“堆叠积木”“整理桌面” 三类任务中的成功率分别达到 92%、88%、85%，平均完成时间分别为 25s、42s、68s；而对比模型中表现最好的 PaLM-E，其成功率分别为 75%、65%、60%，平均完成时间分别为 38s、55s、85s。此外，3D-VLA 的动作误差仅为 0.02m（末端执行器位置误差），远低于 FLAVA 的 0.08m，证明其能为机器人提供更精准的动作规划。​
消融实验：关键组件的必要性验证​
为验证 3D-VLA 各关键组件的作用，研究团队设计了消融实验：​
去除交互 Tokens：模型的任务成功率下降 28%，证明交互 Tokens 对机器人 - 物体交互状态的理解至关重要；​
去除扩散模型对齐：目标 RGB-D 与点云的一致性下降 45%，证明对齐机制能保证多模态生成的协同；​
使用二维数据集训练：机器人动作误差增加 0.06m，证明三维数据对精准控制的必要性；​
不使用 LoRA 微调：扩散模型的生成质量（PSNR）下降 1.5dB，证明 LoRA 能避免灾难性遗忘。​
消融实验结果表明，3D-VLA 的各组件并非冗余，而是相互协同、缺一不可，共同支撑了模型的三维感知与生成决策能力。​
（3）实际应用场景拓展​
基于优异的实验性能，3D-VLA 在多个领域展现出广阔的应用前景：​
家庭服务机器人​
在家庭场景中，3D-VLA 能让机器人更精准地理解用户需求。例如，用户说 “把客厅茶几上的遥控器递给我”，机器人通过 3D-VLA 生成 “遥控器被拿起并递到用户手中” 的目标场景，规划出避开障碍物（如茶杯、书籍）的动作路径，精准抓取遥控器并递送给用户。此外，面对杂乱的桌面，3D-VLA 能生成 “物品分类摆放” 的目标场景（如将书本放在书架、将水杯放在杯垫上），并规划多步动作完成整理，大幅提升家庭服务的智能化水平。​
工业装配机器人​
在工业生产中，3D-VLA 可用于精密零件装配。例如，在汽车零部件装配任务中，机器人需要将螺栓拧入指定孔位 —— 传统二维模型难以判断螺栓与孔位的深度关系，容易出现拧入过深或未拧紧的问题；而 3D-VLA 通过生成 “螺栓完全拧入孔位” 的目标点云，能精准规划螺栓的下降深度与旋转角度，装配误差控制在 0.01m 以内，合格率较传统模型提升 30%。同时，3D-VLA 还能处理动态装配场景（如传送带输送的零件），通过光流估计预测零件的运动轨迹，实时调整动作，适应生产线的动态变化。​
医疗辅助机器人​
在医疗场景中，3D-VLA 可辅助医生完成手术器械递送、药品整理等任务。例如，在微创手术中，医生说 “递一把止血钳”，3D-VLA 能生成 “止血钳被递到手术切口旁” 的目标 RGB-D 图像，规划出避开患者身体与其他器械的动作路径，确保器械递送的安全性与精准性。此外，在药品整理任务中，3D-VLA 能根据药品的 3D 形状与标签信息，生成 “药品按类别摆放在货架上” 的目标场景，指导机器人完成分类摆放，减少人工操作误差。​
五、总结与未来展望​
3D-VLA 的提出，标志着视觉 - 语言 - 行动融合技术从 “二维平面” 迈向 “三维具身” 的重要突破。该模型通过引入 3D 感知模态、设计交互 Tokens、构建生成式扩散模型及特征对齐机制，首次实现了 “语言指令→三维场景想象→机器人精准行动” 的端到端能力，填补了现有 VLA 模型在三维空间推理与精确控制方面的空白。实验证明，3D-VLA 在目标生成质量、场景理解能力、机器人操作性能上均显著优于传统二维 VLA 模型，为具身智能的发展提供了新的技术范式。​
展望未来，3D-VLA 的发展方向可聚焦于以下几个方面：​
多模态融合升级：当前 3D-VLA 主要依赖视觉、语言、动作模态，未来可融入触觉、力觉、听觉等模态（如机器人抓取物体时的触觉反馈、物体碰撞时的声音），进一步提升模型对场景的感知精度与动作的安全性；​
复杂动态场景适应：现有模型在多人交互、恶劣环境（如雨天、灰尘）中的鲁棒性仍需提升，未来可通过增强数据集中的复杂场景样本，设计抗干扰的 3D 感知模块，让模型适应更真实的世界环境；​
模型轻量化与实时性优化：当前 3D-VLA 的推理速度（约 5fps）难以满足实时操作需求，未来可通过模型压缩（如知识蒸馏、量化）、硬件加速（如 GPU 推理优化、FPGA 部署），将推理速度提升至 30fps 以上，适应实时机器人操作；​
多机器人协作拓展：未来可将 3D-VLA 扩展到多机器人协作场景，让多个机器人通过共享 3D 场景模型，协同完成复杂任务（如共同搬运大型家具、协作装配大型设备），进一步拓展模型的应用边界。​
随着算法的不断优化与应用场景的持续拓展，3D-VLA 有望成为推动机器人技术与人工智能领域深度融合的核心力量，为具身智能走向现实世界奠定坚实基础。

更多技术内容

更多技术内容可参见
清华《GPT多模态大模型与AI Agent智能体》书籍配套视频【陈敬雷】。
更多的技术交流和探讨也欢迎加我个人微信chenjinglei66。

总结

此文章有对应的配套新书教材和视频：

【配套新书教材】
《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】
新书特色：《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）是一本2025年清华大学出版社出版的图书，作者是陈敬雷，本书深入探讨了GPT多模态大模型与AI Agent智能体的技术原理及其在企业中的应用落地。
全书共8章，从大模型技术原理切入，逐步深入大模型训练及微调，还介绍了众多国内外主流大模型。LangChain技术、RAG检索增强生成、多模态大模型等均有深入讲解。对AI Agent智能体，从定义、原理到主流框架也都进行了深入讲解。在企业应用落地方面，本书提供了丰富的案例分析，如基于大模型的对话式推荐系统、多模态搜索、NL2SQL数据即席查询、智能客服对话机器人、多模态数字人，以及多模态具身智能等。这些案例不仅展示了大模型技术的实际应用，也为读者提供了宝贵的实践经验。
本书适合对大模型、多模态技术及AI Agent感兴趣的读者阅读，也特别适合作为高等院校本科生和研究生的教材或参考书。书中内容丰富、系统，既有理论知识的深入讲解，也有大量的实践案例和代码示例，能够帮助学生在掌握理论知识的同时，培养实际操作能力和解决问题的能力。通过阅读本书，读者将能够更好地理解大模型技术的前沿发展，并将其应用于实际工作中，推动人工智能技术的进步和创新。

【配套视频】

清华《GPT多模态大模型与AI Agent智能体》书籍配套视频【陈敬雷】
视频特色： 前沿技术深度解析，把握行业脉搏

实战驱动，掌握大模型开发全流程

智能涌现与 AGI 前瞻，抢占技术高地

上一篇：《GPT多模态大模型与AI Agent智能体》系列一》大模型技术原理 - 大模型技术的起源、思想
下一篇：DeepSeek大模型技术系列五》DeepSeek大模型基础设施全解析：支撑万亿参数模型的幕后英雄