1. 从“模糊”到“清晰”：全色锐化到底在解决什么问题？

如果你玩过手机拍照，尤其是用一些主打“高像素”模式的手机，可能会发现一个有趣的现象：拍出来的照片文件巨大，细节好像多了，但颜色有时候会显得有点“假”，或者暗部噪点特别明显。这背后其实就牵扯到一个核心矛盾：空间分辨率和光谱分辨率的权衡。简单说，就是“看得清”和“看得准”很难两全。

在遥感卫星领域，这个矛盾被放大了无数倍。天上的卫星传感器，由于物理和成本的限制，往往采用两种“各司其职”的“眼睛”来看地球：

• 全色（PAN）传感器：像个黑白相机，只记录亮度信息，不区分颜色。但正因为“一心一意”，它能捕捉到非常精细的空间结构和纹理细节，比如建筑物的边缘、田地的垄沟、道路的走向。它的优势是**“看得清”**。
• 多光谱（MS）传感器：像个彩色相机，通过多个波段（比如红、绿、蓝、近红外）分别记录信息。这样我们就能区分植被、水体、建筑等地物类型，分析作物健康、监测环境污染。它的优势是**“看得准”**（颜色/光谱信息丰富）。

但问题来了，多光谱传感器为了收集多个波段的光，每个像素接收的光子数被“分摊”了，导致其空间分辨率通常远低于同平台的全色传感器。于是，我们得到的就是一张颜色丰富但有点模糊的低分辨率多光谱图（LRMS），和一张细节锐利但只有黑白的高分辨率全色图（PAN）。

全色锐化（Pansharpening） 要干的活儿，就是把这两张图“完美”地融合在一起，生成一张既清晰又色彩准确的高分辨率多光谱图（HRMS）。这可不是简单的“PS叠加”，它要求融合后的图像，在空间细节上要向PAN看齐，在光谱颜色上又要忠实于原始的MS，不能出现颜色失真或纹理扭曲。传统方法依赖复杂的物理模型和手工设计的先验知识，就像用一套固定的公式去解所有方程，遇到新的卫星、新的地貌，效果就可能大打折扣。

而近年来，以扩散模型（Diffusion Model） 为代表的生成式AI，给这个经典问题带来了全新的解题思路。它不再仅仅是一个“融合工具”，而是变成了一个强大的“特征理解与生成引擎”。我在这条路上摸索了几年，从自监督学习到文本调制，踩过不少坑，也收获了一些有意思的发现，今天就跟大家聊聊，扩散模型是如何让卫星图像“看得更真、更清”的。

2. 自监督学习：让模型自己“预习”卫星图像的特征

刚开始做这个方向时，我遇到了一个很实际的困境：标注数据太少了。在自然图像领域，我们可以用ImageNet这样海量的标注数据去训练模型。但在遥感领域，尤其是要求像素级精确对齐的全色锐化任务上，高质量的真实配对数据（即同一时间、同一地点获取的LRMS、PAN和真实的HRMS）非常稀缺且制作成本极高。大部分研究都依赖一种叫做“Wald协议”的降级模拟方法来生成训练数据，但这本质上是一种“自己考自己”的闭环，模型很容易过拟合到这种模拟的退化过程上，一碰到真实场景或者别的卫星数据，性能就急剧下降。

当时我就在想，能不能让模型先抛开“融合”这个具体任务，像人类观察世界一样，自己去学习卫星图像里蕴含的通用特征，比如纹理的规律、地物的结构、光谱的变化模式？这其实就是自监督学习的核心思想：设计一个代理任务，让模型从无标签的数据中自己学习有用的表征。

2.1 CrossDiff：交叉预测带来的意外之喜

我们的第一个突破是CrossDiff模型。受一篇ICLR论文的启发，我们发现扩散模型在一步步去噪的过程中，其实隐含着强大的特征学习能力。于是，我们设计了一个“交叉预测”的代理任务。

具体怎么操作呢？想象一下，你同时有PAN图像（高分辨率黑白图）和LRMS图像（低分辨率彩色图）。在预训练阶段，我们不关心它们如何融合，而是让模型玩一个“看图猜谜”的游戏：

1. 我们把PAN图像通过扩散过程加噪，变成一团模糊。
2. 同时，我们把LRMS图像也通过另一个独立的扩散过程加噪。
3. 然后，我们要求模型根据加噪的PAN，去预测LRMS原本的干净状态；同时，根据加噪的LRMS，去预测PAN原本的干净状态。

这个“交叉预测”任务强迫模型去深入理解两种数据源之间的内在关联。为了从模糊的PAN中猜出LRMS的颜色，模型必须学会捕捉PAN中与光谱相关的结构信息；反过来，为了从模糊的LRMS中猜出PAN的细节，模型必须学会从颜色信息中推理出可能的边缘和纹理。

这个过程完全自监督，不需要任何HRMS真值标签。预训练完成后，我们得到了一个已经深刻理解“空间”与“光谱”关系的模型骨架。接下来做全色锐化任务时，我们只需要冻结这个预训练好的特征提取器，然后在它后面接一个轻量级的“融合头”进行微调。

实测下来，这个思路的泛化能力给了我们一个惊喜。当我们用WorldView-3卫星的数据训练后，直接把模型拿到QuickBird或者GaoFen-2的数据集上去测试（只微调融合头），效果竟然比很多直接在目标数据上训练的全监督模型还要好！这说明，通过自监督扩散学习到的特征，确实是跨数据集、跨传感器的通用表征，它抓住了不同卫星图像之间共通的物理本质，而不是死记硬背某套数据的特定模式。

2.2 技术细节与实操中的坑

在实现CrossDiff时，有几个关键点值得分享：

• 网络结构选择：我们采用了U-Net作为扩散模型的主干，但在其中加入了针对多光谱数据的适配。比如，在输入层和中间层，要能灵活处理不同通道数的MS数据（4通道、8通道等）。
• 损失函数设计：自监督预训练阶段，损失就是简单的均方误差（MSE），计算预测的干净图像与真实干净图像之间的差距。但这里有个技巧，我们对PAN和MS的预测误差会进行加权，初期可以设置1:1，后期可以根据任务侧重调整。
• 微调策略：这是提升最终效果的关键。冻结预训练骨干后，融合头不宜过于复杂。我们通常用几个卷积层来实现。微调的数据量不需要很大，几百对图像就足够让模型快速适配新数据集的特性。学习率要设置得比预训练时小一个数量级，避免破坏已经学到的宝贵特征。

踩过的一个坑是：一开始我们试图在预训练时就加入一些融合任务的暗示，结果发现反而损害了特征的通用性。自监督阶段一定要“纯粹”，目标越简单（就是重建），学到的特征往往越根本。

3. 文本调制：用“语言”指导模型适应千变万化的卫星

自监督学习解决了“无米之炊”（缺少标注数据）和模型泛化的问题，但另一个挑战随之而来：卫星的“多样性”。不同的卫星，比如美国的Landsat、法国的SPOT、中国的“高分”系列，它们的传感器参数、光谱响应函数、成像质量（MTF）都不一样。这导致即使是同一片森林，在不同卫星的影像上，其光谱曲线（颜色“指纹”）和纹理表现都存在差异，也就是所谓的域间差距（Domain Gap）。

传统的思路是为每一种卫星训练一个专用模型，或者用一个巨大的混合数据集训练一个“万能”模型。前者成本太高，后者则容易让模型学成一个“四不像”，在各类数据上都表现平平。我们就在想，能不能像现在的大语言模型（LLM）那样，通过文本提示（Text Prompt） 来动态地调整模型，告诉它：“你现在处理的是Landsat-8的数据，请注意它的波段特性”？

3.1 把卫星参数“翻译”成模型能懂的语言

这就是 “Empower Generalizability for Pansharpening Through Text-Modulated Diffusion Model” 这项工作的核心。我们不再把不同卫星的数据看成彼此孤立的域，而是尝试建立一个统一的“大模型”，并通过文本指令来调制它，使其适配具体任务。

首先，我们需要为每种卫星定义一段“描述文本”。这段文本不是人工编写的散文，而是结构化物理参数的文本化。例如：

• “传感器类型：推扫式，光谱通道数：8，全色波段范围：450-800nm，多光谱波段包含：海岸蓝、蓝、绿、黄、红、红边、近红外1、近红外2，空间分辨率：全色0.31米，多光谱1.24米。” 我们将这些参数整理成一个固定的文本模板。然后，使用一个预训练的文本编码器（如CLIP的文本编码器）将这些文本描述转换为文本特征向量。

接下来是关键的一步：调制。我们设计了一个文本调制模块，它接收这个文本特征向量。这个模块会产生一组“调制参数”（如缩放因子和偏置项），这些参数会被注入到扩散模型U-Net的每一个关键层中（例如，在卷积层之后，激活函数之前，进行仿射变换）。这个过程类似于风格迁移中的AdaIN，但这里的“风格”是由文本描述的卫星物理特性所控制的。

这样，当模型处理Landsat-8的数据时，文本调制模块就根据Landsat-8的描述，生成一套独特的调制参数，轻微地“扭转”模型内部的特征表达，使其更适合Landsat-8的数据分布。处理QuickBird数据时，则切换成另一套参数。模型的主体参数是共享的，它学习的是全色锐化的通用知识；而文本调制参数是动态的，它负责进行快速的领域适配。

3.2 实现任意通道输入的3D卷积设计

文本调制解决了一个大问题，但还有一个工程难题：不同卫星的多光谱图像通道数不一样，从4通道到16通道甚至更多，传统的2D卷积网络输入通道是固定的，无法处理这种变长输入。

我们的解决方案是引入 3D卷积。我们把多光谱图像的每一个波段看作一个“深度”维度上的切片。假设一幅图像有C个波段，高为H，宽为W，我们将其构造成形状为 (1, C, H, W) 的张量（这里1是批处理维度）。然后，我们使用3D卷积核，其在空间维度（H, W）和光谱维度（C）上同时进行卷积操作。

更巧妙的是，我们可以将文本调制与3D卷积结合。文本特征不仅可以调制空间特征图，还可以调制沿着光谱维度的特征响应。例如，模型可以学习到：对于含有“红边”波段的卫星数据，增强对植被特征的提取能力。

在训练时，我们混合多个卫星数据集（如WorldView-3, QuickBird, GaoFen-2）一起训练。每次迭代，随机抽取一个批次的数据，这个批次可能来自同一个卫星，也可能来自不同卫星。模型会根据伴随数据而来的文本描述，动态调整自身。最终，我们得到了一个真正通用的全色锐化模型。只需要输入图像和一段描述卫星参数的文本，它就能输出高质量的融合结果。这大大降低了在实际应用中部署和维护多个模型的成本。

4. 双粒度语义引导：让模型“看懂”图像内容再动笔

文本调制从卫星的物理特性层面提升了泛化能力，但我们发现，即使同一颗卫星拍摄的图像，其内容场景也千差万别——城市、农田、森林、水域、荒漠。不同的模型或方法，可能擅长处理某类场景，而在其他场景上表现不佳，这就是所谓的 “场景依赖性”。

比如，一个在城区建筑上训练得很好的模型，可能对水体的融合会产生难看的伪影（颜色失真或纹理错乱）。这就像让一个只画过肖像画的画家突然去画风景，笔法可能就不对了。我们希望能有一个“向导”，能实时地告诉模型：“你现在正在处理一片水域，要注意保持光谱平滑，抑制纹理过度增强”或者“你现在正在处理一片建筑区，要重点强化边缘和线性结构”。

4.1 引入多模态大模型（MLLM）作为“场景理解专家”

如何让模型获得这种场景理解能力呢？我们想到了近年来飞速发展的多模态大模型（MLLM），比如那些既能看懂图像又能进行对话的模型。这些模型在海量互联网数据上训练过，对通用视觉概念（物体、场景、纹理）有着深刻的理解。

在 “Dual-Granularity Semantic Guided Sparse Routing Diffusion Model” 工作中，我们引入了一个冻结的、现成的MLLM（例如，基于ViT和LLM构建的模型）作为语义提取器。具体流程如下：

1. 我们将低分辨率的MS图像输入MLLM，并设计特定的提示词（例如，“请详细描述这张遥感图像中的主要地物类型和场景特点”）。
2. MLLM会输出两方面的语义信息：
   • 场景级语义：如图像的整体描述——“这是一幅包含城市建筑群、河流和周边农田的卫星图像”。
   • 物体级语义：更细粒度的描述，甚至可以是像素级的语义分割概念——“图像中央是密集的矩形建筑（商业区），左侧有一条蜿蜒的河流（水域），右下方是规则的条状区域（农田）”。
3. 我们将这些文本描述再次编码成语义特征向量。

4.2 稀疏路由MoE：让模型内部“专家”各司其职

拿到了语义指导，如何用它来动态影响扩散模型呢？我们借鉴了大语言模型中火热的 混合专家（Mixture of Experts, MoE） 架构。传统的扩散模型U-Net可以看作一个“全能专家”，试图处理所有情况。而MoE架构则是在模型中部署多个“子专家网络”（例如，8个或16个），每个专家可能隐式地擅长处理某类特征（如纹理专家、颜色专家、边缘专家等）。

在每一次前向传播中，对于输入的特征图，我们不是让所有专家都工作，而是根据当前输入图像对应的语义特征向量，计算出一个“路由权重”。这个路由网络会稀疏地激活其中一小部分（比如2个）最相关的专家，只让它们来处理当前数据，其他专家则处于休眠状态。

这个过程是动态的、内容感知的。当语义提示表明图像中有大量水体时，路由网络可能会激活那些擅长处理平滑区域、保持光谱连续性的专家；当提示表明图像中有复杂建筑时，则可能激活那些擅长增强高频边缘和细节的专家。

“双粒度语义引导” 就体现在这里：场景级语义用于指导更宏观的路由决策（选择哪一类专家组合），而物体级语义则可以进一步细化，在模型内部的不同阶段提供更精细的调制信号。最终，我们得到了一个智能的、内容自适应的融合模型。它不再是机械地应用同一套融合规则，而是像一位经验丰富的修图师，先“读懂”照片内容，再选择合适的“工具”和“笔触”进行加工。

5. 实战：搭建你自己的扩散模型全色锐化实验环境

聊了这么多理论，手痒想试试吗？下面我分享一个基于PyTorch的简化版实验流程，你可以快速搭建一个基础版的扩散模型全色锐化原型。这里我们以自监督的CrossDiff思路为例。

5.1 环境准备与数据加载

首先，你需要准备一个遥感数据集，比如公开的WorldView-3数据集。数据通常包含配对的PAN、LRMS和HRMS（用于验证）。由于我们做自监督预训练，实际上只需要PAN和LRMS对。

import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import Dataset, DataLoader
import numpy as np
import cv2
import os

# 定义一个简单的数据集类
class PansharpeningDataset(Dataset):
    def __init__(self, pan_dir, lrms_dir, transform=None):
        self.pan_paths = sorted([os.path.join(pan_dir, f) for f in os.listdir(pan_dir) if f.endswith('.tif')])
        self.lrms_paths = sorted([os.path.join(lrms_dir, f) for f in os.listdir(lrms_dir) if f.endswith('.tif')])
        self.transform = transform

    def __len__(self):
        return len(self.pan_paths)

    def __getitem__(self, idx):
        # 读取图像，这里假设已经预处理为numpy数组并归一化到[0,1]
        pan = np.load(self.pan_paths[idx])  # 形状: (H, W)
        lrms = np.load(self.lrms_paths[idx]) # 形状: (C, H/s, W/s)，s是分辨率比例

        # 将PAN也调整为通道维度在第一维，方便处理
        pan = np.expand_dims(pan, axis=0) # 形状: (1, H, W)

        # 转换为Tensor
        pan = torch.from_numpy(pan.astype(np.float32))
        lrms = torch.from_numpy(lrms.astype(np.float32))

        return {'pan': pan, 'lrms': lrms}

# 创建数据加载器
train_dataset = PansharpeningDataset(pan_dir='./data/train/pan', lrms_dir='./data/train/lrms')
train_loader = DataLoader(train_dataset, batch_size=4, shuffle=True)

5.2 构建扩散模型与噪声调度

我们实现一个简单的去噪U-Net和线性噪声调度。

# 简化的U-Net块（实际需要更复杂的结构，这里仅为示意）
class UNetBlock(nn.Module):
    def __init__(self, in_ch, out_ch):
        super().__init__()
        self.conv = nn.Sequential(
            nn.Conv2d(in_ch, out_ch, 3, padding=1),
            nn.GroupNorm(8, out_ch),
            nn.SiLU(),
            nn.Conv2d(out_ch, out_ch, 3, padding=1),
            nn.GroupNorm(8, out_ch),
            nn.SiLU(),
        )
        self.res_conv = nn.Conv2d(in_ch, out_ch, 1) if in_ch != out_ch else nn.Identity()

    def forward(self, x):
        return self.conv(x) + self.res_conv(x)

class SimpleDenoiser(nn.Module):
    def __init__(self, pan_ch=1, ms_ch=4, base_ch=64):
        super().__init__()
        # 输入是加噪的PAN或MS + 时间步嵌入
        self.encoder1 = UNetBlock(pan_ch + 1, base_ch) # 假设时间步通过卷积融入
        self.encoder2 = UNetBlock(base_ch, base_ch*2)
        # ... 更多层，以及对应的解码器层和跳跃连接
        self.decoder_out = nn.Conv2d(base_ch, pan_ch, 1) # 输出与输入（PAN或MS）同通道

    def forward(self, x, t):
        # x: 加噪的图像， t: 时间步（需要嵌入）
        # 实现U-Net的前向传播
        # ...
        return predicted_noise

# 噪声调度器
class LinearNoiseScheduler:
    def __init__(self, num_timesteps=1000, beta_start=1e-4, beta_end=0.02):
        self.num_timesteps = num_timesteps
        self.betas = torch.linspace(beta_start, beta_end, num_timesteps)
        self.alphas = 1. - self.betas
        self.alpha_bars = torch.cumprod(self.alphas, dim=0)

    def add_noise(self, original, t):
        sqrt_alpha_bar = torch.sqrt(self.alpha_bars[t]).view(-1, 1, 1, 1)
        sqrt_one_minus_alpha_bar = torch.sqrt(1. - self.alpha_bars[t]).view(-1, 1, 1, 1)
        noise = torch.randn_like(original)
        noisy = sqrt_alpha_bar * original + sqrt_one_minus_alpha_bar * noise
        return noisy, noise

5.3 自监督预训练与交叉预测损失

这里是核心的训练循环，实现交叉预测。

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model_pan_to_ms = SimpleDenoiser(pan_ch=1, ms_ch=4).to(device) # 从PAN预测MS噪声
model_ms_to_pan = SimpleDenoiser(pan_ch=1, ms_ch=4).to(device) # 从MS预测PAN噪声，结构可对称
optimizer = optim.Adam(list(model_pan_to_ms.parameters()) + list(model_ms_to_pan.parameters()), lr=1e-4)
scheduler = LinearNoiseScheduler(num_timesteps=1000)

num_epochs = 50
for epoch in range(num_epochs):
    for batch in train_loader:
        pan = batch['pan'].to(device)   # (B, 1, H, W)
        lrms = batch['lrms'].to(device) # (B, C, H/s, W/s)

        # 1. 随机采样时间步
        t = torch.randint(0, scheduler.num_timesteps, (pan.size(0),), device=device).long()

        # 2. 为PAN和LRMS分别加噪
        noisy_pan, noise_pan = scheduler.add_noise(pan, t)
        noisy_lrms, noise_lrms = scheduler.add_noise(lrms, t)

        # 3. 交叉预测任务
        # 任务A: 用noisy_pan去预测lrms的噪声
        pred_noise_lrms = model_pan_to_ms(noisy_pan, t)
        loss_a = nn.functional.mse_loss(pred_noise_lrms, noise_lrms)

        # 任务B: 用noisy_lrms去预测pan的噪声
        # 注意：需要将lrms上采样到与pan相同分辨率，这里简单使用插值，实际可能需要更精细对齐
        noisy_lrms_upsampled = torch.nn.functional.interpolate(noisy_lrms, size=pan.shape[-2:], mode='bilinear')
        pred_noise_pan = model_ms_to_pan(noisy_lrms_upsampled, t)
        loss_b = nn.functional.mse_loss(pred_noise_pan, noise_pan)

        # 4. 总损失
        loss = loss_a + loss_b

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

    print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}')

5.4 微调与推理

预训练完成后，冻结骨干网络，添加一个简单的融合头进行微调。

class FusionHead(nn.Module):
    def __init__(self, in_ch_pan, in_ch_ms, out_ch):
        super().__init__()
        # 一个简单的融合头，例如几个卷积层
        self.conv1 = nn.Conv2d(in_ch_pan + in_ch_ms, 64, 3, padding=1)
        self.conv2 = nn.Conv2d(64, out_ch, 3, padding=1)

    def forward(self, pan_feat, ms_feat):
        # pan_feat, ms_feat 是从冻结骨干中提取的特征
        x = torch.cat([pan_feat, ms_feat], dim=1)
        x = torch.relu(self.conv1(x))
        x = self.conv2(x)
        return x

# 加载预训练权重，冻结骨干
model_pan_to_ms.load_state_dict(torch.load('pretrained_crossdiff.pth'))
for param in model_pan_to_ms.parameters():
    param.requires_grad = False

fusion_head = FusionHead(in_ch_pan=64, in_ch_ms=64, out_ch=4).to(device) # 假设特征通道为64
# 然后在一个小规模的全色锐化标注数据上，只训练fusion_head

这个流程是一个高度简化的demo，真实的研究中需要更复杂的网络设计、更精细的损失函数（如光谱损失、空间损失）、以及大量的调优。但它清晰地展示了从自监督预训练到任务微调的完整链路。你可以在此基础上，尝试加入文本调制模块（需要文本编码器和调制层）或MoE路由机制，来复现更高级的模型。