文章:HNDiff: Haze-Noise Diffusion for Image Dehazing

代码:暂无

作者:匿名


一、问题背景:真实世界图像退化远比想象复杂

在图像复原(Image Restoration)领域,去噪(Denoising)与去雾(Dehazing)是两类核心任务。 它们旨在恢复受环境退化(噪声、雾霾、模糊等)影响的图像清晰度。

然而,现实中的图像退化往往同时存在多种噪声源

  1. 🌫 大气散射导致的雾霾衰减

  2. 📸 传感器噪声、曝光偏差、压缩失真

  3. 💡 光照与深度的非线性耦合效应

现有复原模型大多针对单一退化类型设计,例如:

  • 去雾模型(如 AOD-Net, DehazeFormer)

  • 去噪模型(如 DnCNN, Restormer)

👉 但在真实场景中,“雾+噪声”共存才是常态。 单任务模型在复杂退化下往往失效,输出结果模糊、颜色偏移。

因此,研究者提出 HN-Diff(Haze and Noise Diffusion Model),一个能在真实场景中联合去雾与去噪的统一扩散式生成模型。


二、方法创新:基于物理约束的双扩散生成框架

✳️ 核心思想

将去雾和去噪视为两个相互耦合的生成过程, 通过条件扩散模型(Conditional Diffusion Model)统一建模。


🔹 1. 双扩散解耦机制(Dual Diffusion Branch)

  • 模型采用两个扩散分支:

    • Noise Branch:建模图像噪声分布,学习还原干净纹理;

    • Haze Branch:建模光散射退化,恢复全局对比与深度感。

  • 两个分支共享编码器特征,通过 Cross-Condition Attention 融合信息。

📘 直觉解释

模型先“听清”细节(去噪),再“看远”结构(去雾)。


🔹 2. 基于物理先验的退化指导(Physics-guided Conditioning)

  • 融入大气散射模型先验:其中 (I) 为观测图像,(J) 为清晰图像,(t(x)) 为透射率,(A) 为大气光。

  • 通过可学习的 物理引导模块(PGM) 估计 (t(x)) 与 (A), 并在扩散反演过程中作为条件输入引导噪声采样。


🔹 3. 联合感知一致性损失(Perceptual Consistency Loss)

  • 在 L1 + SSIM 基础上,引入语义感知一致性约束, 保证去雾和去噪后的图像在视觉空间中与原始语义一致。


🔹 4. 训练策略

  • 合成 + 真实退化数据混合训练;

  • 双阶段优化:先独立训练去雾/去噪分支,再联合微调;

  • 采用 DDIM 推理加速,实现实时恢复。


三、实验结果:复杂退化下显著领先

作者在多个真实与合成数据集上验证了 HN-Diff 的性能,包括:

  • RESIDE (ITS, SOTS) – 去雾数据集

  • DND, SIDD – 去噪数据集

  • Hybrid-HazeNoise (作者自建) – 真实复合退化数据

模型

任务

PSNR↑

SSIM↑

LPIPS↓

DehazeFormer

去雾

31.3

0.953

0.075

Restormer

去噪

32.1

0.961

0.068

RIDCP

统一模型

33.2

0.966

0.061

HN-Diff(本文)

去雾+去噪

35.80.9780.043

📈 关键结果

  • 在混合退化场景下,HN-Diff 相比 SOTA 模型提升 +2.6 dB (PSNR);

  • 在真实户外场景上,颜色恢复与对比度显著优于 DehazeFormer;

  • 在不增加推理时长的前提下,细节保真度提升明显。

此外,作者还在视频序列上测试了模型的时序一致性:

  • Temporal SSIM 提升 +0.012;

  • 模型输出在光照变化下稳定无闪烁。


四、优势与局限

✅ 优势

  • 🧠 双扩散机制:同时建模雾与噪声退化;

  • 🌈 物理约束引导:增强模型可解释性;

  • ⚡ 统一推理:一次前向过程完成联合复原;

  • 🪄 泛化性强:在不同传感器、天气条件下表现稳定。

⚠️ 局限

  • 训练复杂,需大量多退化数据;

  • 推理虽快,但仍比纯 CNN 模型稍慢;

  • 对极端光照(夜间、逆光)场景恢复效果有限;

  • 对视频长序列的时序一致性仍需优化。


📝 一句话总结

HN-Diff 用“扩散”的方式同时看清世界与细节, 打破了传统图像复原的任务壁垒,让去雾与去噪真正合而为一。


Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐