论文标题

DeepCache: Accelerating Diffusion Models for Free

DeepCache：免费加速扩散模型

论文链接

DeepCache: Accelerating Diffusion Models for Free论文下载

论文作者

Xinyin Ma, Gongfan Fang, Xinchao Wang (National University of Singapore)

内容简介

本文介绍了一种名为 DeepCache 的新型训练无关范式，旨在加速扩散模型。DeepCache 通过利用扩散模型反向去噪过程中相邻步骤的固有时序冗余，缓存并检索跨相邻去噪阶段的特征，从而减少冗余计算。该方法利用 U-Net 的结构特性，在更新低级特征的同时重用高级特征，实现了显著的加速效果。实验表明，DeepCache 在不牺牲图像生成质量的前提下，显著提高了扩散模型的推理速度，并且优于现有的需要重新训练的剪枝和蒸馏方法。

分点关键点

1.加速扩散模型

• DeepCache 通过缓存高级特征来减少冗余计算，实现了对扩散模型的加速。
• 在 Stable Diffusion v1.5 上实现了 2.3× 的加速，仅损失了 0.05 的 CLIP Score。
• 在 LDM-4-G 上实现了 4.1× 的加速，FID 仅下降了 0.22。

2.训练无关

无需重新训练，直接在预训练的扩散模型上应用 DeepCache，降低了压缩成本。

3.结构特性利用

利用 U-Net 的结构特性，通过缓存高级特征和更新低级特征来优化计算过程。

4.广泛的兼容性

与现有的快速采样技术兼容，如 DDIM 和 PLMS，并在相同吞吐量下实现了可比甚至更好的结果。

5.实验验证

• 在多个数据集和扩散模型上进行了实验验证，包括 CIFAR-10、LSUN-Bedroom/Churches、ImageNet、COCO2017 和 PartiPrompt。
• 与需要重新训练的剪枝和蒸馏方法相比，DeepCache 在相同吞吐量下具有更好的性能。

CV-diffusion models必读论文合集：

CV-扩散模型必读论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！

论文代码
https://github.com/horseee/DeepCache