1. 项目概述：当无人机群遇上敏捷目标

在无人机集群协同领域，有一个经典且极具挑战性的问题：如何让一群携带通信中继设备（Net-Carrying Drones）的无人机，成功拦截一个高速、机动性极强的“敏捷目标”？这个目标可能是模拟的敌机、失控的飞行器，或者任何需要被动态包围并建立临时通信覆盖的移动物体。传统的集中式路径规划方法在这里往往会“失灵”，因为目标的运动不可预测，且无人机之间需要实时协同，任何决策延迟都可能导致任务失败。

最近，我们团队基于 竞争式多智能体强化学习 （Competitive Multi-Agent Reinforcement Learning）完成了一个仿真项目，核心就是解决上述问题。我们不再为每架无人机预设复杂的协同规则，而是让它们在虚拟环境中“自学成才”，通过不断试错，学会如何像一支训练有素的球队一样，分工协作、预判走位，最终成功拦截目标。这个项目的核心算法框架融合了 MAPPO 、 PFSP 和 CTBR 等前沿思路，并将高层的协同策略最终输出为无人机可执行的 低层控制命令 。整个过程，就像是在教一群AI飞行员打一场动态的“包围战”。

2. 核心思路与算法架构拆解

2.1 问题定义：从协同围捕到通信覆盖

首先，我们必须把拦截任务转化为一个标准的强化学习问题。在我们的场景中：

• 智能体 ：多架携带通信中继设备的无人机。每架无人机都是一个独立的智能体，具备局部观测能力（如自身位置、速度、与目标的相对方位、与友机的相对位置等）。
• 环境 ：一个三维的连续空间，其中包含一个高速移动的“敏捷目标”。该目标会采用诸如正弦机动、随机转向等策略试图摆脱追踪。
• 状态与观测 ：我们采用 局部观测 设定，每架无人机只能感知到自身一定范围内的信息，这更符合真实通信受限的场景。观测空间通常包括：自身状态（位置、速度、航向）、与目标的相对向量、与最近几架友机的相对向量，以及自身携带的“网络”状态（是否已部署）。
• 动作空间 ：为了最终能控制实体无人机，我们输出低层控制命令，即三维空间中的连续加速度指令（ [a_x, a_y, a_z] ）。这比输出目标点更底层，也更能考验策略的精细控制能力。
• 奖励函数设计 ：这是项目的灵魂，直接决定了无人机群学到的行为模式。我们的奖励函数是一个多目标混合体：
  1. 围捕奖励 ：基于无人机群与目标形成的几何形状（如凸包）的紧凑度。包围圈越小、越紧密，奖励越高。
  2. 拦截成功奖励 ：当目标被成功限制在由无人机群构成的通信网络覆盖范围内并持续一定时间，给予高额稀疏奖励。
  3. 能耗惩罚 ：对无人机的加速度大小进行惩罚，鼓励平滑、节能的飞行。
  4. 防碰撞惩罚 ：对无人机之间距离过近施加严厉惩罚，确保安全。
  5. 竞争性奖励 ：引入目标的视角，为目标设计一个“逃脱奖励”。这本质上将单方面训练变成了一个竞争性环境，促使无人机群必须学会更智能的协同策略来对抗一个“狡猾”的目标。

2.2 算法选型：为什么是MAPPO + PFSP + CTBR？

面对这个部分可观测、需要紧密协同的竞争环境，我们选择了以 MAPPO 为基础框架，并集成了 PFSP 和 CTBR 两种关键机制。

MAPPO 是多智能体近端策略优化算法。它之所以成为我们的基础，是因为它在合作式多智能体任务中表现出了卓越的稳定性和性能。其核心“近端策略优化”约束，能有效防止训练过程中策略更新步伐过大而导致崩溃，这对于需要长期协同的复杂任务至关重要。在MAPPO中，每个智能体都有自己的策略网络（Actor）和价值网络（Critic），但Critic在训练时可以获取全局状态信息（在仿真中可用，用于指导训练），从而学习到更好的协同价值估计。

然而，标准MAPPO在处理我们这种需要高度默契配合的围捕任务时，仍有不足。智能体之间缺乏显式的通信结构，协同完全依赖于Critic网络隐式地学习，这在动态对抗中效率不够高。因此，我们引入了 PFSP 。

PFSP ，即策略特征共享协议，是我们设计的一种轻量级通信机制。它并非让无人机传递原始观测数据，而是让每个无人机的策略网络在输出动作之前，先生成一个低维的“意图特征向量”（例如，表示“我准备向左迂回”、“我打算加速逼近”等）。这个特征向量会广播给邻近的友机。其他无人机在决策时，除了自身的局部观测，还会将这些收到的“意图特征”作为额外输入。这就好比足球队员之间的眼神和手势交流，让团队在无集中指挥的情况下，也能对彼此的下一步行动有一个“心照不宣”的预判，极大提升了协同的流畅性和有效性。

注意 ：PFSP的特征维度需要仔细设计。维度太低，信息不足；维度太高，会增加训练难度并可能引入噪声。我们通过实验发现，一个4-8维的特征向量通常能在表达能力和学习效率之间取得良好平衡。

最后，为了应对那个“狡猾”的敏捷目标，我们引入了 CTBR 思想。 CTBR ，即 Counterfactual Task Balancing and Replay ，直译为反事实任务平衡与回放。这听起来复杂，但核心理念很直观：为了让无人机群学会应对各种高难度情况，我们不能只让它和固定策略的目标训练。CTBR机制会动态地调整目标的“敏捷度”（如最大速度、转弯率），并在经验回放池中，更多地采样那些无人机群失败或表现不佳的回合（即“困难样本”）进行重复学习。同时，它还会构建一些“反事实”场景，例如：“如果当时那架无人机没有选择减速而是加速包抄，结果会怎样？”，通过数据增强的方式让策略学会从失败中更高效地总结经验。这就像是给足球队请了一个强大的、风格多变的陪练，并专门针对球队的防守薄弱环节进行高强度训练。

3. 训练系统搭建与核心实现细节

3.1 仿真环境构建：用Gymnasium打造竞技场

我们选择 Gymnasium 作为仿真环境接口标准，因为它兼容性好，社区支持广泛。环境的核心物理模拟基于简单的质点动力学模型，这足以验证高层协同策略的有效性，同时保证了训练速度。

每架无人机的动力学模型简化为： 新速度 = 当前速度 + 加速度 * 时间步长 新位置 = 当前位置 + 新速度 * 时间步长 其中，加速度由智能体的策略网络输出，并受到最大加速度和速度的限制。

目标的运动模型更为关键，它直接决定了任务的难度。我们实现了多种机动模式：

1. 匀速直线运动 ：基线模式，用于初期策略收敛。
2. 正弦机动 ：在水平或垂直方向上进行周期性摆动，考验无人机的跟踪能力。
3. 随机转向 ：每隔一定时间步，以一定概率随机改变加速度方向。
4. 基于规则的逃避 ：目标会简单判断最近无人机的方向，并向反方向加速。这是我们为竞争性训练设计的基础策略。

环境在每一步为每个智能体返回其局部观测，并计算所有智能体的共享奖励（团队奖励）。同时，环境内部维护一个目标策略，可以根据CTBR机制动态调整其参数。

3.2 网络结构设计：Actor-Attention-Critic的融合

受 actor-attention-critic 这一热词启发，我们在Critic网络的设计中加入了注意力机制，这是提升多智能体协同价值估计准确度的关键。

• Actor网络（策略网络） ：输入是智能体自身的局部观测 o_i 以及通过PFSP接收到的邻居意图特征 f_j 。网络由几个全连接层组成，最终输出一个定义在连续动作空间上的高斯分布（均值和标准差），从中采样得到具体的加速度命令。

  # 伪代码示意Actor前向传播
  def forward(self, local_obs, neighbor_features):
      x = torch.cat([local_obs, neighbor_features], dim=-1)
      x = F.relu(self.fc1(x))
      x = F.relu(self.fc2(x))
      mean = self.mean_head(x)
      log_std = self.log_std_head(x) # 输出对数标准差以保证正值
      return mean, log_std
  

• Critic网络（价值网络） ：输入理论上可以是全局状态 state 。但为了更好处理变长的智能体信息，我们采用了 注意力机制 。我们将所有智能体的局部观测 [o_1, o_2, ..., o_n] 作为序列输入。首先通过一个共享的编码器将每个观测映射为特征向量，然后使用一个多头自注意力层，让每个智能体的特征都能与其他所有智能体的特征进行交互，从而提取出全局的协同关系。最后，聚合后的特征再通过全连接层输出一个标量价值估计。

  # 伪代码示意带注意力机制的Critic
  def forward(self, agent_observations):
      # agent_observations shape: [batch_size, num_agents, obs_dim]
      encoded = self.encoder(agent_observations) # [batch, num_agents, feature_dim]
      # 多头自注意力，让每个智能体关注其他智能体
      attended, _ = self.multihead_attention(encoded, encoded, encoded)
      global_feature = attended.mean(dim=1) # 聚合全局信息，例如取平均
      value = self.value_head(global_feature)
      return value
  

  这种设计使得Critic在评估当前局势时，能显式地建模智能体之间的相互影响，比简单的全连接网络更能理解复杂的协同态势。

3.3 训练流程与参数调优实录

训练采用集中式训练、分布式执行的范式。在训练时，Critic可以访问所有智能体的信息（全局状态或所有观测）来学习准确的团队价值函数；而每个Actor只根据自己的局部观测和PFSP特征做决策，这保证了策略在部署时的完全分布式运行。

关键超参数与调优经验 ：

• 折扣因子 gamma ：设为0.99。对于这种需要长期规划（保持队形、预判目标路径）的任务，较高的折扣因子很重要。
• GAE参数 lambda ：设为0.95。用于平衡优势估计的偏差和方差，这个值在大多数PPO类算法中都比较稳定。
• PPO裁剪系数 clip_epsilon ：设为0.2。这是PPO的核心参数，我们发现在多智能体环境中，保持相对保守的裁剪范围（0.1-0.3）有助于稳定性。当引入PFSP通信后，由于输入信息更复杂，我们曾尝试调小到0.15以防止初期震荡。
• 学习率 ：Actor和Critic网络均采用Adam优化器，初始学习率设为3e-4。我们使用了学习率余弦退火衰减，在训练后期逐渐降低学习率，有助于策略收敛到更精细的局部最优。
• 批次大小与经验回放 ：我们使用并行多个环境实例来收集数据。每个迭代周期，从多个环境并行收集一定步数的数据（如256步），构成一个大的批次，然后进行多轮（如5-10轮）小批量梯度更新。CTBR机制会在这个批次中标记出“困难样本”，并在下一轮更新时提高其采样权重。

实操心得 ：训练初期最大的挑战是智能体的探索问题。由于奖励稀疏（只有成功拦截才有大奖励），无人机群很容易陷入“躺平”的局部最优——即谁也不动，只获得微小的能耗惩罚，而避免任何可能导致碰撞惩罚的尝试。我们的解决方案是：

1. 设置探索噪声 ：在Actor网络输出的动作上添加随时间衰减的奥恩斯坦-乌伦贝克过程噪声，鼓励早期探索。
2. 设计课程学习 ：从简单的目标运动模式（如匀速直线）开始训练，待策略基本学会跟踪后，再逐步提高目标的敏捷度和智能度（启用随机转向或规则逃避）。
3. 调整奖励权重 ：在训练早期，适当提高“向目标靠近”这类引导性奖励的权重，降低碰撞惩罚的权重，待策略稳定后再调回。这是一个需要反复手动调整的“艺术”过程。

4. 从策略到飞控：低层控制命令的生成与仿真验证

4.1 策略网络输出的处理

策略网络最终输出的是一个三维加速度命令 [a_x, a_y, a_z] 。但在真实的无人机飞控中，通常需要的是姿态角指令或油门指令。我们的项目目前停留在仿真验证阶段，因此重点关注高层协同策略的有效性。然而，为了更贴近实际，我们在仿真环境中加入了简单的动力学约束：

• 加速度限幅 ：输出的加速度指令会被限制在无人机物理可行的范围内（如 ±5 m/s²）。
• 速度限幅 ：无人机的速度有上限，防止出现不切实际的超高速。
• 一阶滞后模型 ：我们为加速度指令加入了一个简单的一阶滞后环节，模拟无人机实际响应控制指令时的延迟， a_actual = a_command * (1 - exp(-dt/tau)) ，其中 tau 为时间常数。

这些约束使得策略网络必须学会生成平滑、可行的控制指令，而不是理论上最优但物理上无法实现的“尖峰”指令。

4.2 协同行为涌现分析

经过数百万步的训练，我们观察到了令人兴奋的 协同行为涌现 ：

1. 分工与角色分化 ：虽然所有无人机使用相同的策略网络参数，但在执行任务时，它们自发地出现了角色分化。例如，在追击一个直线逃跑的目标时，位于目标侧后方的无人机会主动加速进行“包抄”，而正后方的无人机则保持压力进行“驱赶”，形成合围之势。
2. 动态编队保持 ：无人机群在高速追击中能自动保持一个松散的、动态变化的队形，既避免了碰撞，又维持了对目标的包围态势。PFSP机制在这里发挥了关键作用，一架无人机意图转向的信号能被邻居及时捕获并做出协同调整。
3. 对抗智能目标 ：当面对采用规则逃避的目标时，无人机群学会了“诱骗”和“伏击”。例如，部分无人机佯装从一侧进攻，迫使目标向另一侧转向，而另一组无人机早已在另一侧等候。这种策略完全是在竞争性环境中通过CTBR机制与高难度目标对抗而学到的，而非人为设计。

我们在测试阶段关闭了探索噪声，并面对一个全新的、更激进的目标运动模式（如混合正弦和随机机动）。成功拦截率从训练初期的近乎0%，提升到了稳定后的75%以上。失败的案例多发生在目标做出极其剧烈、违反常理的瞬时机动时，这也在情理之中。

4.3 性能瓶颈与优化方向

尽管项目取得了不错的效果，但在复现过程中，你可能会遇到以下性能瓶颈和挑战：

1. 训练速度慢 ：多智能体强化学习的样本复杂度和计算开销巨大。即使使用简单的物理模型，要训练一个稳定的策略也需要在GPU上运行数十小时。优化方向包括：使用更高效的并行数据收集框架（如Ray）、对网络和环境进行轻量化、尝试更高效的算法如QMIX（但适用于离散动作空间）或MAPPO的变体。
2. 通信带宽与延迟 ：PFSP机制假设意图特征可以无延迟、无损失地广播。在实际中，通信延迟和丢包会严重影响协同效果。下一步的研究方向是让策略网络学会对通信延迟和噪声具有鲁棒性，或者在仿真中直接建模不完美的通信信道。
3. 仿真到现实的鸿沟 ：我们的动力学模型是高度简化的。真实的无人机有更复杂的动力学、状态估计误差和执行器延迟。要部署到真实系统，需要进行 域随机化 训练，即在仿真中随机化无人机的质量、惯量、推力系数、传感器噪声等参数，让策略学会一个泛化能力强的“鲁棒控制器”，或者采用 在线自适应 或 仿真到现实的迁移学习 技术。
4. 奖励函数设计过于复杂 ：我们的奖励函数包含多个加权项，调参繁琐。可以探索 逆向强化学习 或 基于示范的学习 ，从专家演示（可以是人为操控或传统算法生成的轨迹）中自动推导出奖励函数。

这个项目清晰地展示了竞争式多智能体强化学习在解决复杂协同控制问题上的巨大潜力。它不仅仅是一个算法demo，更提供了一个从问题定义、环境构建、算法融合到训练调优的完整框架。当你亲手复现并看到无人机群从一盘散沙到默契配合时，那种感觉远比单纯调用一个API来得震撼。