CVPR：EVSSM 几何变换，超越 Mamba 算力！
EVSSM，一针见血地指出了当前 Vision Mamba 的致命缺陷，并用极其优雅的“几何变换”和“单向扫描”，把 Mamba 的算力开销彻底打了下来！整理了 5 个核心亮点，建议先赞后看
论文原文：https://arxiv.org/abs/2405.14343
即插即用代码仓库：https://github.com/AITricks/AITricks
1️⃣ 核心痛点：Mamba 到了视觉为什么变慢了？
原始的 Mamba 处理一维文本速度极快，但图像是二维的，现有的视觉 Mamba为了照顾全局视野，强行在同一个模块里搞“四向扫描”。
这种暴力解法虽然有效，但计算量直接翻了 4 倍！对于高分辨率的图像去模糊任务来说，简直是灾难。
2️⃣ 核心大招：化繁为简的“单向扫描”
怎么砍掉冗余的 3 个方向？作者极其聪明地利用了几何变换！
EVSSM 在每个模块中只保留 1 个扫描方向。但是，在进入模块前，它会把特征图做一次翻转或转置。经过连续 4 个模块的接力处理，模型自然就“看”遍了上下左右的所有信息。
妙处：用免费的数学操作，换来了全局感受野。
3️⃣ 局部魔法：EVS Block
除了单向扫描，Mamba 还需要捕捉局部细节。
作者在生成状态空间参数的线性层之后，悄悄插入了一个 1D 深度可分离卷积。
这个极其轻量的即插即用设计，赋予了模型极强的局部纹理捕捉能力，完美弥补了单纯扫描的结构缺失。
4️⃣ 频域瘦身：EDFFN
去模糊任务离不开频域特征。现有的方法喜欢在 FFN 的中间层做快速傅里叶变换。
痛点：FFN 中间层的通道数通常是输入的 3 倍，这时候做 FFT 简直是算力黑洞。
解法：作者把 FFT 操作和频域筛选直接后移到了 FFN 的末端。只这一个小小的位置改动，直接把计算负担降到了最低。
5️⃣ 实验结果：算力狂降，画质 SOTA
根据论文在 GoPro 和 HIDE 经典去模糊数据集上的表现：
极度轻量：对比当红的 Restormer 和 Uformer，EVSSM 的参数量和计算量大幅减少。
边缘极度锐利：看论文的对比图，面对高速运动导致糊成一团的车牌或人脸，EVSSM 恢复出的细节异常清晰，没有任何重影。
总结：EVSSM 证明了“算法的优雅往往胜过暴力的算力堆叠”。
#深度学习 #计算机视觉 #图像去模糊 #Mamba #论文 #科研 #科研日常 #论文分享 #深度学习与神经网络