中国移动简介

中国移动作为全球最大的通信运营商之一，近年来在AI领域持续加码，特别是在具身智能方向进行重点布局。其研究院下属的AI团队聚焦于视觉-语言-动作（VLA）模型预训练、机器人泛化操作等前沿方向，面试风格偏技术深度研究型，注重候选人对Transformer、生成式模型、强化学习等底层原理的掌握程度，同时极其看重实际的机械臂操作部署经验。

题目列表（10道）

---

题目1：VLA模型的输入和输出分别是什么？为什么需要将动作空间离散化为Token？

VLA（Vision-Language-Action）模型的输入是视觉图像（或视频帧）和自然语言指令，输出是机器人可执行的动作序列。视觉输入通过视觉编码器（如ViT）提取特征，语言指令通过文本编码器编码，两者在统一的Transformer网络中融合。

最关键的设计在于动作输出——VLA将连续的动作空间（如机械臂末端执行器的x/y/z坐标、旋转角、夹爪开合度等）离散化为Token，扩展语言模型的词汇表，然后以自回归方式像预测下一个单词一样逐个生成这些"动作词"。在RT-2中，一个抓取动作可被表示为一系列Token，模型基于当前视觉输入和指令，逐个预测这些动作Token。

这样做的好处是能复用预训练语言模型的语义知识，让模型理解"把那个看起来像灭霸的玩具拿给我"这样的开放词汇指令，而传统控制算法根本无法处理这类语义泛化。

扩展提示：面试官可能会追问动作离散化的分辨率问题——划分太粗会丢失精度，太细则增加预测难度，通常256个bin是一个平衡点。

---

题目2：如何解决Sim-to-Real（仿真到真实）鸿沟？具体有哪些技术手段？

Sim-to-Real是具身智能落地的核心难点，本质上是仿真环境无法完美模拟真实世界的物理摩擦、光照变化、传感器噪声等，导致在仿真中成功率很高的策略到真机上完全失效。

主流的解决手段包括三个层面。第一是域随机化（Domain Randomization），在仿真训练时随机化视觉参数（纹理、光照、摄像机角度）和动力学参数（摩擦系数、质量、阻尼），迫使模型学习物体的本质几何特征而非环境伪影，这样真实世界就只是仿真中的一个"特例"。第二是联合训练（Co-training），将仿真数据、真实机器人数据和互联网级网络数据混合训练，仿真数据提供大规模探索能力，真实数据提供物理对齐，网络数据提供语义泛化——Google的RT-2采用此策略成功将Web知识迁移到机器人操作中。第三是闭环反馈，在推理阶段引入视觉或力控反馈，通过实时观测修正动作，而不是完全依赖开环轨迹预测。

扩展提示：可以提及系统辨识（System ID）技术，在部署前通过预定义动作序列估算真实环境参数并在仿真中对齐。

---

题目3：模仿学习（IL）和强化学习（RL）在具身任务中各有什么优劣？如何结合使用？

模仿学习和强化学习在具身智能中就像硬币的两面，各有不可替代的价值。

模仿学习（如行为克隆）本质上将控制问题转化为监督学习，优势在于样本效率极高——人类遥操作演示少量数据就能让模型快速掌握复杂语义任务，如"把苹果放进抽屉"。但劣势在于存在协变量偏移（Covariate Shift），一旦测试状态偏离专家数据分布，误差会随时间步指数级累积，且性能上限被专家水平锁死。

强化学习通过与环境交互试错来最大化奖励，优势在于能发现超越人类专家的"涌现行为"，在底层运动控制上鲁棒性极强。但缺点是奖励函数设计极其困难，从零探索在物理世界中成本高昂、容易损坏硬件。

目前业界的最优做法是IL+RL混合范式：先用IL基于大规模人类数据预训练出拥有常识的策略，再用RL在仿真或真机中进行微调对齐，类似于RLHF在具身领域的应用。Diffusion Policy通过扩散模型来拟合人类数据的多峰分布（绕过障碍物可以从左或从右绕，传统MSE会取平均导致撞树），是模仿学习的前沿方向。

---

题目4：RT-1和RT-2的核心区别是什么？为什么RT-2被称为VLA模型？

RT-1和RT-2是Google DeepMind发布的两代机器人Transformer模型，核心区别在于架构范式的根本转变。

RT-1本质上是一个传统的基于Transformer的动作生成策略，从头训练或基于较小的视觉骨干，聚焦于机器人领域数据，泛化能力受限于机器人数据集的规模。

RT-2是一个真正的VLA模型，它直接复用了在互联网级数据上预训练的视觉-语言大模型（如PaLI-X）作为骨干网络，将机器人控制任务视为一种特殊的"语言生成"任务。具体技术上，RT-2将连续机器人动作离散化为Token并扩展VLM词汇表，在同一个Transformer Decoder中以自回归方式同时预测语言Token和动作Token。

核心优势在于语义泛化能力——因为模型保留了互联网预训练的知识，它知道"灭绝的动物"对应恐龙玩具、知道"超人"公仔长什么样，这些语义知识可以零样本迁移到未见过的新操作任务上，这是RT-1完全做不到的。RT-2通过mask机制在推理时屏蔽非动作Token，确保只输出合法控制指令。

---

题目5：Transformer的注意力机制和位置编码在VLA模型中如何发挥作用？RoPE的原理是什么？

Transformer架构是VLA模型的基石。注意力机制通过计算Query、Key、Value之间的相关性权重来聚合信息，在VLA中实现了视觉Token、语言Token和动作Token之间的跨模态交互——让模型能"看着图像理解指令并输出动作"。

位置编码方面，RoPE（旋转位置编码）是目前主流的选择，其核心思想是通过绝对位置的旋转矩阵操作，在点积注意力中巧妙实现了相对位置编码。对于第m个位置的特征向量，乘上一个旋转矩阵，当两个向量计算内积时结果只与它们的相对位置m-n有关，这让模型具备了更强的序列外推能力。在VLA中，RoPE帮助模型理解视频帧之间的时间顺序和动作序列的先后关系，比如"先抓取再移动再放下"的时间序列逻辑。

LoRA微调也是高频考点——通过两个低秩矩阵A和B的乘积来近似参数的更新量ΔW，只需训练少量参数就能高效适配新任务。B初始化为零保证起点不变，A用高斯初始化，训练时只更新A和B，推理时可以合并回原权重。

---

题目6：VLA模型的推理延迟如何优化？当推理频率只有3Hz但机械臂需要50Hz时怎么处理？

这是具身智能落地中最经典的工程难题，大模型的低频推理（1-5Hz）与机器人高频控制（50-500Hz）之间存在巨大的频率失配。

解决方案核心是分层控制架构（Hierarchical Control），即"慢思考+快执行"的设计。上层运行VLA模型，负责语义理解和任务规划，输出稀疏的航点或目标姿态，允许数百毫秒的延迟。下层运行传统控制算法（如MPC、PID或全身控制器WBC），以500Hz以上的高频将上层目标插值为密集的电机指令。这种架构不仅解决了频率失配，还起到了安全解耦作用，防止大模型推理卡顿直接导致机器人失控。

此外还有模型量化手段，将模型从FP16压缩至INT8甚至INT4，部署TensorRT或ONNX Runtime进行算子融合优化。更高级的做法是"大小模型协同"——使用一个小型蒸馏Policy网络在本地高频运行负责具体动作执行，只在任务切换或遇到异常时异步调用大模型重新规划。

主动提及安全约束机制（安全过滤器检查轨迹是否超出关节限位、多模态一致性校验、硬件看门狗超时锁死电机）能极大体现工程落地经验。

---

题目7：Diffusion Policy的工作原理是什么？相比传统方法有什么优势？

Diffusion Policy是将扩散模型应用于机器人动作生成的前沿方法，其核心思想是通过反向扩散过程逐步去噪生成动作序列。

训练时对专家演示的动作序列逐步添加高斯噪声直到变成纯噪声，模型学习逆向去噪过程。推理时从纯噪声开始，逐步去噪还原出平滑的动作序列。相比传统方法有三方面优势：第一，完美契合高维连续控制，直接在连续动作空间上建模，无需离散化，避免了量化误差。第二，可以很好地拟合人类操作数据中的多峰分布——绕过障碍物可以从左边绕也可以从右边绕，传统MSE损失会取平均导致撞树，而扩散模型能精准输出一种可行方案。第三，天然具有时序平滑性，因为去噪过程本身就是从粗到细的生成，输出的动作序列自然平滑，不易出现抖动。

ALOHA团队的工作展示了Diffusion Policy在精细操作（如穿针、折叠衣物）中的显著优势。

---

题目8：如何设计机器人的奖励函数来训练复杂的操作任务？

奖励函数设计是强化学习在具身任务中最关键也是最困难的环节，通常需要多轮迭代。

以机械臂抓取为例，V1版本使用稀疏奖励（任务成功给+1，失败给0），简单但学习效率极低，因为agent几乎得不到任何有效反馈。V2版本改为基于距离的密集奖励（距离目标越近奖励越高），但容易导致机械臂在物体附近"抖动"而无法完成精准抓取。

V3版本的最佳实践是引入势能函数（Potential-based Reward Shaping）加动作惩罚——势能函数通过状态差分来给予趋近正反馈（靠近目标给奖励），动作惩罚项抑制剧烈抖动（鼓励平滑控制），再加上成功时的大额奖励。核心原则是：通过势能函数保持最优策略不变性，通过动作惩罚保证执行质量，通过成功奖励保持任务导向。更进阶的方法可以结合人类反馈的RLHF思想，让人类标注者评判动作好坏来辅助奖励设计。注意要避免奖励黑客（Reward Hacking）问题，即agent钻奖励漏洞。

---

题目9：VLA模型有哪些主流的研究方向？未来发展如何？

目前VLA的研究方向主要有四块。第一是动作表征与Token化，如何更高效地将连续动作映射到离散Token空间，以及动作分块（Action Chunking）——预测未来K步的动作片段而非单步动作，减少累计误差。第二是数据效率提升，包括利用合成数据（基于Diffusion的视频生成）、低成本遥操作采集方案、跨本体迁移（不同构型机械臂之间的模型迁移）。第三是VLA与底层控制器的深度集成，将VLA的高层语义输出与MPC等传统控制方法无缝衔接。第四是多模态融合与推理加速，包括Token合并策略减少序列长度、混合精度推理等。

未来趋势方面，端到端VLA将逐步替代分层架构，模型从"感知+规划+控制"分离走向统一的大模型直接输出；RL在VLA训练中越来越重要，用于解决分布偏移问题和长时序推理；VLA与灵巧手的结合会成为新研究热点，但要克服推理延迟对高频控制带来的挑战。从π0到π0.5到π0.6的演进体现了VLA架构从简单到复杂、从仿真到真机的逐步成熟。

---

题目10：描述一个完整的具身智能系统架构，各模块如何协同工作？

一个完整的具身智能系统架构通常采用"大脑-小脑-身体"三层设计。

"大脑"是VLA模型或LLM+VLM的组合，负责高层语义理解、任务规划和环境感知，输入是视觉图像和自然语言指令，输出是高层任务序列或关键航点。"小脑"是运动控制层，运行MPC、全身控制器（WBC）或轻量策略网络，以高频（50-500Hz）将上层的稀疏目标插值为密集的关节力矩指令，并做安全校验和避障。"身体"是硬件本体，包括机械臂、夹爪、灵巧手、力传感器、摄像头等，负责执行物理动作并反馈传感器信号。

三个模块之间的数据闭环：摄像头采集图像→送入VLA模型→VLA输出目标和动作序列→小脑层将其细化为实时控制信号→电机执行→传感器反馈→VLA根据新状态调整规划。核心挑战在于如何在保证实时性的同时最大化语义泛化能力，需要各层之间有高效的数据接口和故障降级机制。

可以结合中国移动5G场景下的具身智能实际案例，比如远程巡检机器人：VLA模型在云端推理，通过5G低时延网络将控制指令下发到边缘机器人本体。