宇树GO2机器人强化学习实战：gym环境下的模型替代与性能优化

如果你已经用gym环境跑过一些四足机器人的基础demo，比如让A1在平地上走两步，可能会觉得这玩意儿挺酷，但离“实用”还差得远。真实的机器人部署，从来不是把开源代码跑通就结束了。当你拿到一台像宇树GO2这样性能更强的实体机器人，想把实验室里的算法模型迁移上去，立刻就会遇到一堵墙：官方模型和你的训练环境不匹配，直接套用效果稀烂，参数调起来像在迷宫里打转。

这就是模型替代的价值所在——它不是简单地把A1的模型换成GO2的URDF文件，而是一整套针对新机器人本体特性，重新设计训练配置、奖励函数乃至训练策略的系统工程。性能优化更是贯穿始终，从仿真环境的物理参数保真度，到PPO算法超参的精细打磨，每一个环节的疏忽都可能导致训练出的策略在仿真里翩翩起舞，一上真机就“扑街”。今天，我们就深入gym环境，抛开那些泛泛而谈的教程，直接切入如何为GO2量身定制训练流程，并分享几个在反复“炼丹”中总结出的、能切实提升最终策略鲁棒性和泛化能力的优化技巧。

1. 环境搭建与模型替换：从“能用”到“好用”的基石

拿到GO2的URDF文件只是第一步。很多开发者会直接替换资源文件，然后沿用之前机器人的配置就开始训练，结果往往是机器人连站都站不起来。问题出在物理参数的继承与覆盖上。GO2的关节驱动特性、质量分布、足端尺寸与A1等常见模型有显著差异，沿用旧配置就像给跑车装上卡车的变速箱，根本发挥不出性能。

首先，我们需要建立一个独立的配置模块。这不仅是文件组织的好习惯，更是后续进行对比实验和参数搜索的前提。在legged_gym/envs/下创建go2目录，并在其中创建go2_config.py。这里的关键是，不要盲目复制粘贴，而要有选择地继承和重写。

# legged_gym/envs/go2/go2_config.py
from legged_gym.envs.base.legged_robot_config import LeggedRobotCfg, LeggedRobotCfgPPO

class GO2RoughCfg(LeggedRobotCfg):
    class init_state(LeggedRobotCfg.init_state):
        pos = [0.0, 0.0, 0.42]  # GO2的初始高度需要微调
        default_joint_angles = {
            'FL_hip_joint': 0.1,
            'RL_hip_joint': 0.1,
            'FR_hip_joint': -0.1,
            'RR_hip_joint': -0.1,
            # 大腿和小腿关节的初始角度对站立稳定性至关重要
            'FL_thigh_joint': 0.8,
            'RL_thigh_joint': 1.0,
            'FR_thigh_joint': 0.8,
            'RR_thigh_joint': 1.0,
            'FL_calf_joint': -1.5,
            'RL_calf_joint': -1.5,
            'FR_calf_joint': -1.5,
            'RR_calf_joint': -1.5,
        }

注意：default_joint_angles 这些角度值并非随意设置，它们定义了机器人的“自然站立”姿态。你需要根据GO2的URDF模型中关节零位的定义，并结合其机械结构上的站立平衡点来校准。一个快速的方法是，在仿真中将这些角度设为0，观察机器人姿态，然后反向推导出合适的站立角度。

接下来是驱动控制参数，这是影响训练效率和最终性能的核心。GO2的关节电机（通常是高扭矩无刷电机）与仿真模型的PD控制器参数需要仔细匹配。

    class control(LeggedRobotCfg.control):
        control_type = 'P'  # 位置控制
        stiffness = {'joint': 20.0}  # 比例增益 P
        damping = {'joint': 0.5}     # 微分增益 D
        action_scale = 0.25          # 动作缩放系数
        decimation = 4               # 控制频率降采样

stiffness和damping的调校是个精细活。增益太高，机器人会像钢板一样僵硬，容易产生高频振荡；增益太低，则响应迟缓，像踩在棉花上。我的经验是从一个中等值开始，在训练初期观察关节跟踪误差曲线。一个实用的技巧是，先在一个简单的站立任务中手动调整这组参数，让机器人能快速、无超调地到达目标位置，再将这组参数用于复杂地形训练。

资产（Asset）配置直接关联到仿真的物理真实性：

    class asset(LeggedRobotCfg.asset):
        file = '{LEGGED_GYM_ROOT_DIR}/resources/robots/go2/urdf/go2.urdf'
        name = "go2"
        foot_name = "foot"  # 必须与URDF中足端连杆名称严格一致
        penalize_contacts_on = ["thigh", "calf"]  # 对大腿和小腿的接触施加惩罚
        terminate_after_contacts_on = ["base"]    # 机身触地则终止本轮训练
        self_collisions = 1  # 通常禁用自碰撞检测以提升仿真速度

这里最容易出错的是foot_name。如果名称不匹配，奖励函数中基于足端接触的判断会全部失效。务必用文本编辑器打开GO2的URDF文件，确认足端连杆（通常是最后一个连杆）的<link name="...">标签。

最后，别忘了在环境工厂中注册你的GO2。修改legged_gym/envs/__init__.py，确保导入路径正确，并将任务注册到全局字典中。这一步是连接配置与训练脚本的桥梁。

2. 奖励函数工程学：引导智能体学会“优雅”行走

默认的奖励函数往往只追求“能走”，而我们要的是“走得好”。对于GO2，我们需要设计一套奖励函数，鼓励其学习到节能、稳定、适应性强步态。奖励函数本质上是给智能体的行为打分，分数项的设计和权重分配就是我们的“教学大纲”。

核心奖励项剖析与定制：

1. 生存奖励与基础运动奖励：这是保底分数。例如，给予一个小的正向生存奖励鼓励其存活，同时给予线速度、角速度跟踪奖励，让它学会跟随指令。

   class rewards(LeggedRobotCfg.rewards):
       only_positive_rewards = False # 允许负奖励
       soft_dof_pos_limit = 0.9     # 关节软限位惩罚系数
       base_height_target = 0.25    # 目标机身高度
   

2. 步态质量奖励：这是提升性能的关键。我们可以引入：

   • 足端滑移惩罚：计算足端接触点在世界坐标系中的水平速度，速度过大则惩罚，鼓励“踩实”。
   • 关节动作平滑性惩罚：对相邻时间步的动作差值进行惩罚，能有效抑制高频率抖动，让运动看起来更自然。
   • 能量效率奖励/惩罚：基于关节扭矩和速度的乘积（功率）进行负奖励，鼓励机器人找到更省力的步态。

3. 奖励权重调优：这是最考验经验和耐心的部分。每个奖励项的系数（scale）决定了智能体对其的重视程度。一个糟糕的权重配比会让智能体学会“骗分”，比如为了获得前进奖励而疯狂扑倒向前。

提示：不要试图一次性调整所有权重。采用分层渐进的策略：先只开启生存、高度、速度跟踪等基础奖励，训练出一个能勉强走路的策略。然后，逐步加入步态质量奖励（如平滑性惩罚），并微调其权重，观察策略的演变。使用TensorBoard等工具实时监控各奖励分项的变化趋势至关重要。

下面是一个奖励权重配置的示例，它体现了不同目标的优先级：

    class scales(LeggedRobotCfg.rewards.scales):
        # 基础生存与跟踪
        lin_vel_tracking = 1.0
        ang_vel_tracking = 0.5
        base_height = 0.2

        # 步态质量
        feet_air_time = 1.0          # 鼓励摆动相
        foot_slip = -0.1             # 惩罚滑移
        action_smoothness = -0.005   # 惩罚动作突变

        # 效率与安全
        torques = -0.0002            # 惩罚大扭矩，节能
        dof_pos_limits = -10.0       # 严厉惩罚关节超限
        collision = -5.0             # 惩罚非足端碰撞

调整策略：如果发现机器人经常摔倒，可以适当提高base_height和collision的权重（绝对值）。如果运动抖动严重，则加大action_smoothness的惩罚。这个过程需要反复迭代，并配合可视化回放来判断。

3. 训练策略与超参数优化：加速收敛与提升泛化

有了好的环境和奖励函数，还需要高效的训练策略来驱动学习过程。这里我们主要针对PPO算法进行优化。许多开源实现提供了默认超参，但它们对GO2和你的特定任务可能不是最优的。

PPO关键超参深度解析：

超参数	默认典型值	对GO2训练的影响	优化方向建议
learning_rate	3e-4	学习速度。太大导致不稳定，太小收敛慢。	可从1e-4开始，使用线性衰减或自适应优化器。
clip_range	0.2	PPO裁剪范围，影响策略更新幅度。	在训练后期可逐步衰减（如0.2 -> 0.1），以进行更精细的策略微调。
gamma	0.99	折扣因子，决定未来奖励的重要性。	对于需要长时平衡的任务，保持0.99；对于短时快速决策，可略降低。
gae_lambda	0.95	广义优势估计的权衡参数。	通常0.95效果不错，调整它对方差-偏差权衡有细微影响。
entropy_coef	0.01	熵系数，鼓励探索。	非常重要。初期可设稍高（如0.05）鼓励探索新步态，后期降低（如0.001）以稳定策略。
num_envs	4096	并行环境数量，直接影响数据吞吐和训练速度。	在显存允许下尽可能调高。GO2仿真比A1稍重，可先从1000-2000开始。
num_steps	24	每个环境每次采样的步数。	与num_envs共同决定批量大小。增加步数能包含更长的序列信息，但也会增加内存。

在配置类中，我们可以这样设置：

class GO2RoughCfgPPO(LeggedRobotCfgPPO):
    class algorithm(LeggedRobotCfgPPO.algorithm):
        learning_rate = 1e-4
        clip_range = 0.2
        entropy_coef = 0.05  # 初始探索系数较高
        num_learning_epochs = 5  # 每次采样数据后，进行策略迭代的次数
        num_mini_batches = 4     # 将数据分成多少个小批量

    class runner(LeggedRobotCfgPPO.runner):
        run_name = "go2_optimized"
        experiment_name = "rough_terrain"
        max_iterations = 3000  # 训练总迭代次数
        save_interval = 500    # 保存模型检查点的间隔

训练流程中的实用技巧：

• 课程学习：不要一开始就在复杂崎岖的地形上训练。先从平坦地形开始，让机器人学会最基本的站立和行走。然后，逐步增加地形难度（如小障碍、随机起伏），在配置中动态调整地形参数。这能极大提高训练成功率和最终策略的鲁棒性。
• 域随机化：为了提升从仿真到真机的迁移能力，需要在训练中注入随机性。这包括：
  • 机器人本体参数的随机化（如质量、惯性、关节摩擦）。
  • 环境参数的随机化（如地面摩擦系数、电机驱动强度）。
  • 观测值的随机化（添加噪声）。 这样训练出的策略不会过度依赖仿真的精确参数，对真实世界的不确定性更有适应性。
• 早停与模型选择：不要只看总奖励曲线就判断模型好坏。通过play.py定期可视化策略表现，观察步态是否自然、有无抖动、应对扰动是否稳健。选择在验证集（一组固定的、未见过的地形）上表现最好的模型，而不是训练奖励最高的模型。

4. 实战调试与性能瓶颈分析

理论配置完成后，进入实战训练。命令行启动训练后，真正的挑战才刚刚开始。你可能会遇到一些典型问题：

问题一：训练初期，机器人疯狂抽搐然后摔倒，奖励曲线毫无起色。

• 排查：首先检查init_state中的default_joint_angles，确保机器人初始姿态是平衡的。然后，大幅降低action_scale（比如降到0.05），限制智能体输出动作的幅度，让它“温柔”一点。同时，可以暂时提高生存奖励和高度奖励的权重，让智能体先学会“站稳”。
• 操作：在训练脚本中，可以通过--headless模式先快速跑几十个迭代，用TensorBoard监控基础奖励项。如果base_height奖励始终为负或零，说明机器人根本没站住，需要回溯检查初始姿态和PD控制参数。

问题二：训练中期，奖励曲线上升后进入平台期，步态看起来笨拙且不自然。

• 排查：这通常是奖励函数权重失衡或探索不足的表现。智能体找到了一个能获得不错分数的局部最优解（比如一种奇怪但有效的“蹦跳”步态），不再积极探索更优解。
• 操作：
  1. 调整奖励权重：降低速度跟踪奖励的权重，提高步态质量奖励（如足端空中时间、平滑性惩罚）的权重，引导智能体优化步态。
  2. 增加探索：适当调高entropy_coef，或者引入动作噪声。
  3. 使用课程学习：增加地形难度，迫使智能体学习更强大的平衡和推进能力。

问题三：训练出的策略在仿真中完美，但迁移到真机GO2上效果打折。

• 排查：这是“仿真到现实”的鸿沟。主要原因包括仿真物理引擎不精确、传感器噪声模型缺失、执行器延迟未建模等。
• 操作：
  1. 强化域随机化：将之前提到的本体、环境参数随机化范围加大，让策略见识更多“可能性”。
  2. 系统辨识：如果条件允许，采集真机GO2的关节阶跃响应数据，用于校准仿真中的PD控制器参数和电机模型。
  3. 在环仿真：在训练后期，可以接入一个简单的真机动力学模型或延迟模型，让策略提前适应非理想情况。

性能监控清单： 在训练过程中，建议持续监控以下指标，它们能帮助你定位问题：

• 关节位置跟踪误差：误差过大说明PD参数可能不合适。
• 足端接触力/滑移速度：判断步态是否踏实。
• 扭矩与功率消耗：评估能量效率。
• 机身姿态角（俯仰、横滚）：判断平衡性。
• 奖励分项贡献度：分析智能体在优化哪些目标。

调试是一个循环迭代的过程。每次修改配置后，运行一个较短时间的训练，观察策略演变趋势，而不是一次性投入大量计算资源。养成保存不同配置版本和对应模型的好习惯，方便回溯和对比。最终，你会得到一组针对你的GO2机器人和目标任务高度优化的配置参数，这才是模型替代与性能优化的核心成果。