1. 项目概述：当电力市场遇上多智能体博弈

最近和几个在电网调度和电力交易中心工作的朋友聊天，大家不约而同地提到了一个共同的痛点：随着新能源大规模并网，电力市场的出清和竞价变得越来越“刺激”。传统的集中式优化模型，在面对海量、分散、出力不确定的风电和光伏时，常常显得力不从心。市场参与者（发电商、售电商、大用户）的策略也日趋复杂，不再是简单的报量报价，而是充满了博弈和风险考量。这让我想起了我们团队之前深度参与的一个研究项目，核心就是解决这个问题——一个名为 MARS-DA 的框架。

简单来说，MARS-DA 是一个专为电力市场设计的、 风险感知的多智能体分层强化学习竞价框架 。它的目标不是取代现有的市场机制，而是为市场中的每一个“理性人”（智能体）装备一个超级大脑，让它们能在遵守市场规则的前提下，更聪明、更稳健地制定竞价策略，从而在提升自身收益的同时，促进整个电力系统运行的 经济性与安全性 。

为什么传统方法不行了？过去的竞价模型大多基于确定性优化或简单的博弈论，假设对手策略固定、市场信息完全。但现实是，你隔壁风电场明天的出力取决于老天爷的心情，你竞争对手的报价策略可能昨晚刚被他们的AI模型更新过，市场出清价格更是受到全网所有参与者行为的共同影响，充满了不确定性。这种高维、连续、非完全信息的动态博弈环境，正是 多智能体强化学习 的用武之地。而 MARS-DA 的特别之处在于，它没有把问题“拍扁”处理，而是通过 分层 结构，巧妙地解耦了长期风险规划与短期实时竞价，并引入了 风险感知 机制，让智能体不再是只顾眼前利益的“赌徒”。

这个框架适合谁？如果你是电力市场的研究人员、交易策略算法工程师、或者对“AI+能源”交叉领域感兴趣的开发者，那么 MARS-DA 的设计思路和实现细节会给你带来很多启发。它不仅仅是一套算法，更是一种应对复杂系统决策问题的 方法论 。接下来，我将拆解这个框架的每一层设计，分享我们在构建和测试过程中踩过的坑和收获的心得。

2. 核心架构与设计哲学：分层解耦的艺术

MARS-DA 这个名字本身就揭示了它的核心思想： M ulti- A gent R isk-aware S trategic bidding with D ual-layer A rchitecture。我们把它设计成一个两层结构，这不是为了炫技，而是源于对电力市场竞价决策过程的本质分析。

2.1 为何必须是“分层”的？

电力市场的决策天然具有时间尺度上的层次性。一个发电商在参与日前市场竞价时，心里至少装着两本账：一本是长期的、战略性的账，比如如何应对燃料价格波动、机组检修计划、以及最重要的—— 可再生能源出力的长期预测偏差所带来的风险 ；另一本是短期的、战术性的账，比如在已知的预测和对手策略估计下，如何微调报价曲线以最大化本次出清的利润。

如果用一个单一的强化学习模型来同时学习这两个目标，智能体会非常“困惑”。长期风险信号（如预测误差的统计特征）是稀疏且缓慢变化的，而实时竞价信号（如实时价格波动）是密集且高频的。让同一个网络同时处理这两种频率差异巨大的信号，极易导致训练不稳定、策略收敛困难，也就是常说的 信用分配问题 ——模型不知道最终的收益或损失应该归因于长期战略还是短期战术。

因此，MARS-DA 的上层（ 战略层 ）和下层（ 竞价层 ）是解耦的：

• 战略层 ：以小时或天为单位运作。它关注长期风险指标（如自身可再生能源预测误差的分布、市场价格的长期波动率），并学习一个高层的“风险预算”或“战略导向”策略。例如，当预测到未来几天风电出力不确定性极高时，战略层可能会向下层发出“保守”指令，倾向于降低报价以保障中标，牺牲部分利润以规避更大的偏差惩罚风险。
• 竞价层 ：以分钟或一个交易时段为单位运作。它接收来自战略层的抽象指令（可以是一个目标风险系数，或一个收益-风险的权衡参数），并结合当前具体的市场信息（如对手的历史报价、网络阻塞情况、实时负荷预测），生成具体的报价曲线（通常是分段线性函数）。

这种分层设计，类似于公司的“董事会”与“经理层”。董事会制定风险偏好和长期战略（战略层），经理层则在既定战略框架内进行日常运营决策（竞价层）。两者各司其职，通过一个简洁的“指令-参数”接口进行交互。

2.2 “风险感知”是如何嵌入的？

这是 MARS-DA 区别于普通多智能体竞价框架的关键。在电力市场中，风险主要来源于两方面： 外部市场风险 （价格波动、对手行为）和 内部运营风险 （自身可再生能源出力偏差）。

我们采用 Conditional Value at Risk 作为核心风险度量工具。CVaR 比传统的 VaR 更优，因为它不仅关心“最坏情况发生的概率”，还关心“如果最坏情况发生，平均会损失多少”，这更符合风险管理的实际需求。在战略层，智能体的目标函数不再是简单的期望收益最大化，而是 收益期望 - λ * CVaR ，其中 λ 是由战略层学习得到的 风险厌恶系数 。这个系数会动态调整，并传递给竞价层。

竞价层在生成报价策略时，会将这个风险厌恶系数作为输入之一。例如，当 λ 较大（风险厌恶程度高）时，竞价层的策略会倾向于报出更接近边际成本的价格，以确保中标、锁定利润，避免因未中标而导致的零收入风险（对于必须消纳的可再生能源而言，这种风险尤为突出）。我们通过修改强化学习的目标函数（即奖励函数）来实现这一点，在奖励中不仅包含实际利润，还包含一个基于 CVaR 计算的风险惩罚项。

注意 ：直接使用蒙特卡洛采样来在线计算 CVaR 计算量巨大。我们在实践中采用了一个技巧：使用一个 风险价值网络 来近似估计在当前状态和策略下，未来收益分布的 CVaR。这个网络与策略网络同步训练，输入状态信息，输出 CVaR 的估计值。这大大提升了计算效率。

2.3 多智能体交互与“注意力”机制

电力市场是典型的多智能体环境。每个参与者的收益不仅取决于自己的行为，还严重依赖于其他所有参与者的行为。MARS-DA 的每个智能体（代表一个市场参与者）都需要具备推断他人意图的能力。

我们借鉴了 Actor-Attention-Critic 的思想，在竞价层的 Critic 网络中引入了 注意力机制 。具体来说，每个智能体的 Critic 网络在评估其动作价值时，会接收所有智能体的观测信息。但它不是简单地将这些信息拼接起来，而是通过一个注意力模块，计算自身观测与其他每个智能体观测的“相关性权重”。这样，Critic 可以更关注那些对自己收益影响最大的对手的行为特征。

例如，一个火电智能体可能会更关注同一区域内其他大型火电商的报价，而对远方的一个小光伏电站的关注权重则较低。这种结构让智能体学会在博弈中“抓重点”，提升了策略的针对性和学习效率。这与最近热词中提到的“actor-attention-critic for multi-agent reinforcement learning”的核心思想是相通的，我们将其成功应用到了电力市场这个特定领域。

3. 核心模块深度解析与实操要点

理解了整体架构，我们深入到各个核心模块，看看具体是怎么实现的，以及有哪些容易踩坑的地方。

3.1 战略层：风险偏好学习器

战略层本质上是一个运行在慢时间尺度上的强化学习智能体。

• 状态（State） ：主要包括历史窗口内的自身可再生能源预测误差序列的统计特征（均值、方差、偏度）、燃料价格趋势、机组状态（如剩余检修时间）、以及市场长期指标（如价格波动率的移动平均）。
• 动作（Action） ：输出一个或多个参数，传递给竞价层。最核心的动作就是 风险厌恶系数 λ ，通常将其定义在 [0, 1] 的连续空间内。0 代表风险中性（只追求期望收益最大），1 代表极端风险厌恶。
• 奖励（Reward） ：战略层的奖励不能是瞬时的，而是一个周期（例如一天）结束后，竞价层所获累计利润经过风险调整后的值。我们使用一个基于滑动窗口计算的 夏普比率 或其变体作为战略层的奖励。这驱使战略层学习如何动态调整风险偏好，以在长期内实现更优的风险调整后收益。

实操要点与坑点 ：

1. 奖励稀疏问题 ：战略层奖励更新频率低，导致学习信号稀疏。我们采用** hindsight experience replay** 技巧，即使一个周期结束后的总收益不佳，也将其作为一个经验样本存入回放池，并赋予一个“如果采取不同风险偏好可能得到的结果”的虚拟奖励，加速学习。
2. λ 的探索-利用权衡 ：λ 动作空间是连续的，探索不足容易陷入局部最优。我们在策略网络输出时添加了参数化的探索噪声（如 Ornstein-Uhlenbeck 过程），并在训练初期设置较大的噪声方差，随着训练逐步衰减。
3. 与竞价层的接口设计 ：除了 λ，我们还尝试过传递“目标中标概率”、“最大可接受报价偏移百分比”等参数。最终发现，传递一个抽象的风险系数 λ 最具鲁棒性，因为它赋予了竞价层最大的灵活性。接口越简单，两层之间的耦合度越低，系统越稳定。

3.2 竞价层：条件策略生成器

竞价层是直接与市场交互的“前线部队”。

• 状态（State） ：包含实时信息，如：自身当前可用的发电能力（对于风光，就是最新超短期预测）、实时燃料成本、从战略层下发的风险系数 λ、过去若干时段内所有竞争对手的公开报价信息（或估计值）、当前网络拓扑与阻塞情况（如果智能体可以获取或推断）、负荷预测。
• 动作（Action） ：生成一条报价曲线。在电力现货市场中，报价通常是分段线性函数（即多个（电量，价格）点对）。我们将动作设计为生成这些关键点的坐标。例如，对于一个拥有三段报价的发电商，动作是一个 6 维向量 [Q1, P1, Q2, P2, Q3, P3] ，分别代表三个分段点的电量和价格。为了满足报价单调递增（电量增，价格增）的市场规则，我们在策略网络输出后使用一个 softplus 变换和累积求和来确保约束。
• 奖励（Reward） ：即时奖励。主要包括： 中标收益 = 中标电量 * (出清价格 - 发电成本) 。同时，我们加入了重要的风险惩罚项： 风险惩罚 = λ * [CVaR_alpha(负收益分布)] 。这里，负收益指的是“机会损失”或“偏差惩罚”，例如因报价过高未中标而损失的可能利润，或因实际出力低于中标量而需购买的平衡服务费用。CVaR_alpha 计算的是这些负收益在 α 分位数（如 95%）以上的条件期望。

实操要点与坑点 ：

1. 动作规范化 ：报价电量和价格数值范围可能相差很大（电量 MW 级，价格 $/MWh 级）。直接输入网络会导致训练困难。必须进行 归一化 。我们使用运行历史数据的均值和方差进行 Z-score 归一化，并在动作输出后反归一化。这是一个基础但至关重要的步骤，很多训练不收敛的问题都源于此。
2. 处理竞争对手信息 ：竞争对手的完整报价曲线通常是隐私信息。我们只能获取到历史出清结果和部分聚合信息。在状态中，我们使用竞争对手上一时段的 中标电量与价格 作为其策略的代理观测，并结合注意力机制来加权处理。同时，我们训练一个额外的 LSTM 网络，根据公开市场数据预测对手的报价行为趋势，将这个预测趋势也作为状态输入。
3. 奖励函数的设计是灵魂 ：除了利润和风险惩罚，我们还尝试加入了一些“规则性”奖励，例如对报价曲线平滑性的小奖励（防止相邻时段报价剧烈波动，引起市场操纵嫌疑），以及对充分利用预测信息的奖励。这些辅助奖励的权重需要仔细调校，否则会干扰主目标。

3.3 注意力Critic网络：理解博弈的关键

这是实现智能博弈的核心。每个智能体 i 的 Critic 网络 Q_i(o, a) ，其中 o 是所有智能体的观测集合， a 是所有智能体的动作集合。

1. 编码 ：首先，每个智能体的观测 o_j 和动作 a_j 分别通过编码器网络得到嵌入向量 e_j 。
2. 注意力 ：对于智能体 i，计算其查询向量 q_i （由其自身状态编码得到）与所有智能体（包括自己）的键向量 k_j （由 e_j 得到）的相关性分数。然后通过 softmax 得到注意力权重 α_ij 。 α_ij = softmax( (q_i^T * k_j) / sqrt(d_k) ) ，其中 d_k 是键向量的维度。
3. 聚合 ：用注意力权重加权求和所有智能体的值向量 v_j （也由 e_j 得到），得到上下文向量 c_i 。 c_i = Σ_j (α_ij * v_j)
4. 价值评估 ：最后，将智能体 i 自身的编码 e_i 与上下文向量 c_i 拼接，通过一个全连接网络，输出动作价值估计 Q_i 。

这个结构使得每个智能体能够动态地关注对其当前决策最重要的其他智能体信息，而不是平等对待所有信息。

实操要点与坑点 ：

1. 训练不稳定性 ：多智能体环境本身是非平稳的，加上注意力机制，Critic 网络容易过拟合到旧的策略。必须使用 目标网络 和 延迟更新 。我们为每个智能体的 Actor 和 Critic 都设置了目标网络，并采用软更新（ θ_target = τ * θ + (1-τ) * θ_target ）来稳定训练。
2. 注意力权重的解释性 ：我们可以通过可视化注意力权重 α_ij 来分析智能体学到了什么。在后期分析中，我们发现一个有趣的现象：在电网阻塞严重的时段，智能体会更关注地理位置相邻的对手的权重；而在价格波动大的时段，则会更关注市场份额大的“价格领导者”对手。这证明了注意力机制的有效性。

4. 系统实现、训练与评估全流程

理论说再多，不如看看具体怎么把它搭起来并跑通。这里我分享我们基于 PyTorch 的实现流程和关键参数。

4.1 环境模拟器构建

强化学习需要一个环境来交互。我们构建了一个简化的但核心机制完整的电力市场模拟器。

• 市场出清模型 ：采用基于 DC 最优潮流的 安全约束经济调度 模型。这是行业标准，目标函数是全社会购电成本最小，约束包括功率平衡、机组出力上下限、线路传输容量限制等。我们使用 PyPSA 或 MATPOWER 库来高效求解这个线性规划问题。
• 参与者建模 ：除了我们控制的 RL 智能体，其他市场参与者采用规则化策略，如：基于成本加成的报价、跟随领导者报价、或简单的基于历史价格的统计学习策略。这为 RL 智能体提供了多样化的博弈对手。
• 不确定性注入 ：可再生能源（风电）出力采用基于历史数据的 ARIMA 时间序列模型生成预测值和实际值，两者之间存在误差。负荷也加入随机波动。这是风险的主要来源。

# 伪代码示例：一个简化的市场步进函数
def market_step(all_bids, wind_forecast, load_forecast):
    # all_bids: 所有参与者的报价曲线列表
    # 1. 基于预测进行市场出清
    cleared_quantities, cleared_prices = solve_SCED(all_bids, wind_forecast, load_forecast)

    # 2. 模拟实际风光出力和负荷
    actual_wind = wind_forecast + np.random.normal(0, forecast_error_std)
    actual_load = load_forecast + np.random.normal(0, load_noise_std)

    # 3. 计算实际与计划的偏差，触发平衡机制（简化版，用惩罚成本表示）
    imbalance = actual_wind - cleared_quantities['wind_agent']
    penalty_cost = imbalance_price * abs(imbalance) # 偏差惩罚

    # 4. 计算每个智能体的实时奖励
    for agent in all_agents:
        revenue = cleared_quantities[agent] * cleared_prices[agent]
        cost = calculate_generation_cost(agent, cleared_quantities[agent])
        profit = revenue - cost - penalty_cost[agent] # 减去该智能体承担的偏差惩罚
        agent.reward = profit - risk_lambda * calculate_cvar(agent)
    return cleared_quantities, cleared_prices, rewards

4.2 分层训练流程

训练是分阶段进行的，这很重要。

1. 预训练竞价层（固定风险系数） ：首先，将战略层的风险系数 λ 固定为几个典型值（如 0, 0.5, 1）。在每个固定的 λ 下，单独训练竞价层智能体。这相当于为战略层准备了一个“策略库”，里面包含了在不同风险偏好下表现良好的竞价策略。使用标准的 MADDPG 或 MAPPO 算法进行训练。
2. 联合训练战略层与竞价层 ：冻结竞价层策略网络的参数（或设置非常小的学习率），主要训练战略层的策略网络和风险价值网络。战略层的动作（λ）作为竞价层策略网络的额外输入。战略层的奖励基于竞价层在完整一个周期（如24小时）内获得的 风险调整后累计收益 。
3. 微调与协同训练 ：在联合训练稳定后，可以以极低的学习率同时微调两层网络，让它们更好地适应彼此。这个过程需要非常小心，并密切监控训练曲线。

关键超参数经验值 ：

• 折扣因子 γ ：竞价层建议较高，如 0.95（更关注近期和中期收益）；战略层建议较低，如 0.8（更关注未来几个周期的风险趋势）。
• 回放缓冲区大小 ：至少需要容纳数万条经验，对于多智能体，建议百万级。
• 批大小 ：256 或 512。太小训练不稳定，太大容易过拟合到旧经验。
• 学习率 ：Actor 网络通常比 Critic 网络小一个数量级，例如 Actor lr=1e-4, Critic lr=1e-3。战略层的学习率应比竞价层再小一个数量级。
• 注意力头数与维度 ：我们实验发现，对于 5-10 个智能体的市场，4 个注意力头，键/查询/值维度为 64 效果较好。维度太大容易在小样本上过拟合。

4.3 评估指标：不止看利润

评估一个竞价策略，不能只看它赚了多少钱。

1. 经济性指标 ：
   • 平均日收益 ：最直接的指标。
   • 夏普比率 ： （平均日收益 - 无风险收益率）/ 收益标准差 。衡量风险调整后收益，是我们的核心优化目标。
   • 最大回撤 ：考察策略在最坏连续亏损期的表现。
2. 风险指标 ：
   • CVaR_95 ：收益分布 95% 分位数以下的平均损失。值越小越好。
   • 中标率波动性 ：策略是否稳定，还是大起大落。
3. 市场影响指标 ：
   • 出清价格波动性 ：好的策略不应过度扰乱市场，引起价格剧烈波动。
   • 市场力指数（如 HHI） ：虽然单个智能体无法控制，但可以观察其策略是否无意中助长了市场集中度。

我们将 MARS-DA 与基线策略（如成本加成、简单 RL 竞价）在模拟环境中进行多次蒙特卡洛仿真，对比上述指标。结果显示，MARS-DA 在夏普比率和 CVaR 指标上显著优于基线，证明了其风险管理和长期规划的有效性。

5. 常见问题、调试技巧与未来展望

在实际开发和实验过程中，我们遇到了无数问题。这里总结几个最具代表性的，以及我们的排查思路。

5.1 训练不稳定，奖励曲线震荡剧烈

这是多智能体强化学习最常见的问题。

• 可能原因1：探索噪声过大或过小 。检查 OU 噪声的参数（θ, σ）。初期 σ 可以设大（如 0.3），然后线性衰减到 0.1 或 0.05。如果震荡伴随策略的剧烈变化，可能是噪声太大；如果奖励长期不变，可能是噪声太小或探索失效。
• 可能原因2：Critic 过拟合 。表现为 Critic 损失值突然飙升。 解决方案 ：a) 减小 Critic 学习率；b) 增加目标网络的软更新参数 τ（如从 0.01 调到 0.005），让目标变化更慢；c) 在 Critic 网络中加入 Layer Normalization 或 Dropout 层（小心使用，可能影响性能）。
• 可能原因3：奖励尺度问题 。如果奖励数值绝对值非常大或非常小，会导致梯度爆炸或消失。 解决方案 ：对每个智能体的奖励进行 归一化 ，例如使用运行时的均值和方差进行标准化，或者使用一个可学习的奖励缩放参数。
• 我们的调试流程 ：首先，关闭所有智能体的探索噪声，用固定的策略（如成本加成）运行环境，检查环境反馈的奖励是否合理、平滑。然后，开启一个智能体进行单智能体训练，稳定后再逐步加入更多智能体。像“添油战术”一样，逐步复杂化环境。

5.2 智能体学不到有效策略，收益始终很低

• 可能原因1：动作约束导致有效探索空间小 。比如报价单调递增约束处理不当，导致网络输出的动作大部分被映射到无效区域。 解决方案 ：在动作输出层使用更柔和的约束满足方法（如我们用的 softplus+累积和），并在训练初期放宽约束，后期收紧。
• 可能原因2：状态信息不充分或噪声太大 。智能体无法从状态中学习到有效的模式。 解决方案 ：进行状态特征工程。例如，除了原始数据，加入历史数据的差分、移动平均、波动率等统计特征。使用 PCA 或自编码器进行降维，去除噪声。
• 可能原因3：对手策略太强或变化太快 。如果基线对手是完美的或完全随机的，RL 智能体都很难学习。 解决方案 ：采用 课程学习 。从简单的对手（如固定策略）开始训练，随着智能体能力提升，逐步引入更复杂、更智能的对手模型。
• 一个实用技巧：可视化策略 。定期将训练中的策略网络应用到测试场景，并绘制其报价曲线。观察曲线是否随着训练进程发生合理的变化（例如，在成本上升时报价提高，在风险系数高时报价更保守）。如果曲线一直杂乱无章或不变，说明学习没发生。

5.3 分层之间“失联”，战略层指令无效

表现为改变战略层的风险系数 λ，竞价层的策略和最终收益没有明显变化。

• 可能原因：接口参数 λ 对竞价层策略网络的影响权重太小 。在竞价层策略网络的输入中，λ 只是一个标量，如果网络容量很大，它可能被其他高维状态信息淹没。
• 解决方案 ：
  1. 特征交叉 ：将 λ 与关键状态特征（如自身发电预测）进行元素相乘或拼接后送入更深的网络层，强制网络关注 λ 与这些特征的交互效应。
  2. 条件归一化 ：使用 Conditional Batch Normalization 。将 λ 作为条件输入到 BN 层的缩放和偏移参数中，这样 λ 就能直接影响每一层特征的分布，从而对整个网络的激活产生全局性影响。
  3. 辅助任务 ：为竞价层策略网络增加一个辅助预测任务，例如预测未来时段的预期风险成本。这个辅助任务的标签需要根据 λ 来计算，从而迫使网络内部表示与 λ 强相关。

5.4 关于“异构”与性能的思考

最近看到“chimera: latency- and performance-aware multi-agent serving for heterogeneous llms”这个概念，它关注的是为异构大语言模型提供低延迟、高性能的多智能体服务。这给了我们另一个维度的启发。在电力市场场景下，“异构”体现得淋漓尽致：参与者类型不同（火电、水电、风电、光伏、储能、负荷聚合商），其物理特性、成本结构、风险承受能力、决策频率都不同。

在 MARS-DA 的框架下，我们可以为不同类型的智能体设计 异构的策略网络架构 。例如：

• 对于风电/光伏智能体，其状态输入应更强调预测误差的统计特征和天气关联信息，动作输出可能更关注风险规避。
• 对于储能智能体，其状态必须包含荷电状态，其策略网络需要具有更强的序列决策能力（考虑时空耦合），可能适合引入 LSTM 或 Transformer 层。
• 对于火电智能体，则需要考虑机组爬坡速率、最小启停时间等复杂约束。

这就要求我们的多智能体训练框架具备更强的灵活性，能够容纳和管理这些异构的模型。同时，在仿真环境中，也需要精细地模拟这些异构智能体的物理模型和市场交互，这对环境模拟器的复杂度和计算性能提出了更高要求。这是我们未来想要深入探索的方向：构建一个更通用、支持异构智能体高效训练与评估的“电力市场多智能体仿真与学习平台”。

最后，我想分享一点最深的体会：将强化学习，尤其是多智能体强化学习，应用到电力市场这样的关键基础设施领域，最大的挑战不是算法本身的复杂度，而是如何将 领域知识 深度地、创造性地融入到算法设计的每一个环节。从状态空间的定义、奖励函数的设计，到网络结构的选择、训练流程的编排，都需要对电力系统运行和市场规则有深刻的理解。MARS-DA 框架中的分层设计和风险感知模块，就是这种领域知识与前沿AI技术结合的产物。它不是一个放之四海而皆准的通用框架，而是针对电力市场特定问题“量身定制”的解决方案。这种“问题驱动，技术赋能”的思路，或许才是“AI for Science”或“AI for Industry”真正落地并产生价值的正确路径。