1. 从Transformer到Mamba：视觉建模的十字路口

大家好，我是老张，一个在AI和计算机视觉领域摸爬滚打了十多年的“老码农”。这些年，我亲眼见证了视觉模型从卷积神经网络（CNN）的“一统天下”，到Transformer的“异军突起”。Transformer凭借其强大的全局建模能力，在ImageNet分类、目标检测等任务上大放异彩，尤其是Vision Transformer（ViT），直接把图像切成一个个小块（patch）当序列来处理，思路清奇，效果拔群。

但是，Transformer有个“阿喀琉斯之踵”——自注意力机制的计算复杂度是序列长度的平方。简单说，图像分辨率越高，切的patch就越多，序列就越长，计算量和内存消耗就会呈平方级暴涨。我试过在单张A100上跑高分辨率图像的ViT，那个显存占用和推理速度，真是让人头皮发麻。这直接限制了它在处理十亿像素医学图像、遥感影像或者长视频等实际场景中的应用。

就在大家绞尽脑汁优化Transformer，搞出各种局部注意力、稀疏注意力的时候，一个来自序列建模领域的新秀——Mamba，带着它的状态空间模型（SSM） 杀了出来。Mamba在语言建模上表现惊人，关键是它的计算复杂度是线性的！这意味着序列长度增加十倍，计算量也只增加十倍，而不是一百倍。这立刻吸引了我们这些搞视觉的人：能不能把Mamba这套高效建模长序列的本事，搬到视觉领域来？

直接把语言Mamba拿过来用？不行。图像不是文本。文本是天然的一维序列，有明确的先后顺序。但图像是二维的，一个像素和它上下左右、甚至对角线的像素都有关联，这种空间关系是双向且全局的。语言Mamba是单向的，只能看前面的词来预测后面的词（自回归），这放在图像里，就好比你只看图片的左半边就去猜右半边有什么，信息损失太大了。所以，要把Mamba用在视觉上，第一个要解决的核心问题就是：如何让它能“看见”全局，进行双向的、空间感知的建模？

这就是Vision Mamba（Vim） 诞生的背景。它不是一个简单的“移植”，而是一次针对视觉数据特性的深度改造。其最核心的创新，就是提出了双向状态空间模型。今天，我就带大家深入这个“黑盒”，看看Vim是如何用一套全新的机制，在保持线性计算复杂度的同时，实现对视觉数据高效且强大的表示学习的。

2. 庖丁解牛：双向状态空间模型是如何工作的

要理解Vim，我们得先搞懂两个基础概念：状态空间模型（SSM） 和原始的 Mamba。

2.1 状态空间模型：一种优雅的序列建模工具

你可以把SSM想象成一个非常智能的“动态系统”。它有一个内部的“隐藏状态”h(t)，这个状态会随着时间（或者说序列的推进）不断演化。每当系统接收到一个新的输入x(t)（比如一个单词或一个图像块），它就会根据当前的隐藏状态和输入，更新自己的状态，并产生一个输出y(t)。

用数学公式表示这个连续过程就是： h'(t) = A * h(t) + B * x(t) y(t) = C * h(t)

这里，A, B, C是系统的参数矩阵。A决定了状态如何自己演化，B决定了新输入如何影响状态，C决定了如何从状态生成输出。这个模型厉害的地方在于，它可以通过数学变换（比如零阶保持法），将上述连续的微分方程，离散化成计算机可以一步步计算的形式：

h_t = \overline{A} * h_{t-1} + \overline{B} * x_t y_t = C * h_t

这里的h_t, x_t, y_t就是第t步的离散状态、输入和输出。\overline{A}和\overline{B}是离散化后的参数。这个形式看起来是不是有点像循环神经网络（RNN）？没错，SSM在推理时确实可以像RNN一样递归计算，这是它高效的原因之一。

但更妙的是，SSM还可以通过一个叫结构化卷积核的技巧，将整个计算过程变成一个全局卷积。这意味着在训练时，它可以像CNN一样并行计算，充分利用GPU，训练速度飞快。这种“训练时并行，推理时递归”的特性，让SSM兼具了效率与灵活性。

2.2 Mamba的魔法：让SSM学会“选择”

传统的SSM（如S4模型）参数A, B, C是静态的，对所有输入一视同仁。但Mamba引入了一个革命性的思想：选择性。它让B, C矩阵以及最重要的时间步参数Δ，都变成依赖于当前输入x_t的动态参数。

我打个比方：传统的SSM像一个匀速前进的录音机，不管磁带里是音乐还是噪音，它都用同样的速度播放。而Mamba则像一个智能播放器，听到音乐高潮部分会自动慢放仔细品味，遇到空白噪音就快速跳过。这种“数据依赖”的选择性，让模型能聚焦于关键信息，极大地提升了建模能力。正是这个特性，让Mamba在语言任务上超越了Transformer。

2.3 Vim的核心创新：双向扫描与空间感知

现在轮到主角Vision Mamba了。它面临的核心挑战是：如何让这个为单向语言设计的“智能播放器”，去理解二维的、空间关联的图像？

Vim的答案是：双向扫描 + 位置编码。

1. 双向扫描：看见完整的画面 原始的Mamba是单向的，处理序列时只能从前往后。Vim则增加了一个完全对称的、从后往前的处理通道。具体在Vim Block里（参考原论文图2和算法），输入序列会同时被送入一个前向SSM和一个后向SSM。

• 前向SSM：像我们看书一样，从左到右、从上到下地处理图像块序列，捕捉“从左上方到右下方”的上下文。
• 后向SSM：反过来，从右到左、从下到上地处理，捕捉“从右下方到左上方”的上下文。

最后，两个方向得到的输出，会通过一个门控机制（就是利用另一个投影z进行加权求和）融合起来。这个门控机制很重要，它让模型能动态决定每个位置、每个方向上信息的权重。比如图像中心的主体物体，可能前后向的上下文都很有用；而图像边缘的背景，可能某个方向的信息就足够了。

我实测下来，这个双向设计对视觉任务提升巨大。在消融实验中（原论文表4），只用单向Mamba，在ImageNet分类上还能有73.2%的准确率，但在需要精细空间理解的ADE20K语义分割任务上，mIoU只有32.3。而加上双向SSM和反向的Conv1d后，分类准确率提升到73.9%，分割mIoU猛增到35.9！这说明双向建模对于捕获像素级的空间依赖至关重要。

2. 位置编码：记住“谁在哪里” SSM和Transformer一样，其核心计算本身是置换不变的。打乱输入图像块的顺序，输出可能不变，这显然不符合视觉常识。因此，Vim和ViT一样，需要为每个图像块添加位置嵌入。

Vim采用可学习的位置嵌入，直接加到经过线性投影的patch embedding上。这样，模型在处理的初始阶段，就明确知道了每个patch在原始图像中的绝对或相对位置。这对于理解“天空在上，草地在下”、“车轮在车底”这样的空间关系是基础。

3. 一维卷积的妙用 在双向SSM处理之前，Vim还对序列施加了一个一维卷积。这个操作看似简单，实则有多重功效：

• 局部性归纳偏置：卷积天然关注局部邻域，这为模型注入了一点CNN的“直觉”，让它更容易捕捉边缘、纹理等局部特征。
• 平滑与信息混合：在进入SSM前，让相邻patch的信息先进行一步混合，有助于后续的全局建模。
• 通道混合：在特征维度上进行交互，提升表示能力。

所以，一个Vim Block的完整流程可以概括为：输入序列 → 层归一化 → 投影出x和z → x经过双向（前向/后向）的【1D卷积 → SSM】→ 两个方向的输出用z门控融合 → 残差连接输出。这套组合拳，让Vim既有了SSM的全局线性效率，又具备了理解视觉空间关系的能力。

3. 效率革命：线性复杂度带来的巨大优势

理论说得再好，还得看实际效果。Vim最吸引人的地方，就是其线性计算复杂度在面对高分辨率图像时带来的巨大效率优势。我们来算笔账。

对于一个长度为M，特征维度为D的序列：

• Transformer自注意力的计算复杂度是：O(4MD² + 2M²D)。注意看第二项2M²D，它与序列长度M的平方成正比。当图像变大，M激增时，这项会成为计算和内存的噩梦。
• Vim中的SSM计算复杂度是：O(3M*(2D)*N + M*(2D)*N)。这里N是SSM的固定状态维度（默认16）。可以看到，整个复杂度只与M成线性关系，没有平方项。

这个差异在理论上是巨大的，在实际中更是触目惊心。原论文图1（b）（c）的对比实验非常直观：

• 速度：在512x512分辨率下，Vim-Ti和DeiT-Ti的FPS（每秒处理帧数）还差不多。但当分辨率提到1248x1248时，DeiT已经慢如蜗牛，而Vim的FPS是DeiT的2.8倍。
• 内存：同样是1248x1248，DeiT-Ti直接爆显存（OOM），而Vim-Ti仅需约5.2GB显存。论文称节省了86.8%的GPU内存。

这意味着什么？意味着我们终于可以直接、端到端地训练和推理高分辨率图像，而不必依赖多阶段处理、滑动窗口等复杂的工程技巧。这对于医疗影像（如病理切片）、遥感地图、自动驾驶街景等应用是颠覆性的。以前需要将大图切碎再拼凑结果，现在可以整张图喂进去，模型能看到真正的全局上下文，精度和效率都能得到保障。

此外，Vim还采用了硬件感知的IO优化和激活重计算技术。简单说，它巧妙地将计算负载在GPU的高速SRAM和容量大的HBM之间调度，尽量减少慢速HBM的读写次数。同时，在反向传播时选择性地重新计算部分中间激活值，而不是全部保存，用额外的计算换取了巨大的内存节省。这些工程优化与算法创新结合，共同铸就了Vim的高效特性。

4. 实战表现：不仅仅是高效，更是强大

光说不练假把式。Vim在多个标准视觉任务上的性能，证明了它不仅是“省电”，而且“能干”。

4.1 图像分类：小模型，大能量

在ImageNet-1K这个经典分类基准上，Vim展现了强大的竞争力。

• 对比CNN：参数量相近的Vim-Small（约22M），Top-1准确率达到80.5%，比经典的ResNet-50高出4.3个百分点。这说明纯序列建模的方式，学习能力已经超越了精心设计的卷积结构。
• 对比ViT/DeiT：Vim-Tiny（约7M）比DeiT-Tiny高出3.9个点；Vim-Small也比DeiT-Small高出0.7个点。更重要的是，Vim是在没有使用蒸馏、更少训练轮数的情况下达到的。这纯粹是模型架构优势的体现。
• 长序列微调：Vim还有一个“隐藏技能”。在ImageNet上预训练后，如果用更小的patch步长（比如8）进行长序列微调（即输入序列更长），Vim-S†的准确率还能进一步提升，甚至可以媲美参数量更大的DeiT-Base模型。这验证了Vim处理长序列的潜力。

4.2 密集预测任务：双向建模的威力尽显

在需要像素级理解的语义分割（ADE20K）和物体检测/实例分割（COCO）任务上，Vim的优势更加明显。

• 语义分割：Vim-Ti在ADE20K上的mIoU比DeiT-Ti高1.8个点。Vim-S以几乎一半的参数量，达到了与ResNet-101骨干网络相当的分割性能。这充分说明，Vim的双向SSM能够更好地建模像素间的长程依赖，对于理解场景布局至关重要。
• 目标检测与实例分割：在COCO上使用Cascade Mask R-CNN框架，Vim-Ti在框AP和掩码AP上全面超越DeiT-Ti，尤其在检测中、大物体时优势更大（AP高1.6-1.8）。这很有趣，因为DeiT为了处理高分辨率特征图，引入了2D窗口注意力，这其实破坏了Transformer纯粹的序列建模特性。而Vim得益于其线性复杂度，可以直接在1024x1024的高分辨率特征图上进行纯序列建模，无需引入任何2D先验，反而学到了更强大的表征。

原论文图5的可视化对比非常生动：在一张包含大飞机的图片中，DeiT-Ti只检测到了飞机的一部分机翼，而Vim-Ti则完整地检测出了整架飞机。这正是因为Vim的双向全局上下文建模能力，让它能更好地理解大型物体的整体结构。

4.3 消融实验的启示

论文中的消融实验（Ablation Study）值得我们仔细品味，它清晰地回答了几个关键设计问题：

1. 双向建模是否必要？ 实验对比了单向、双向序列（数据增强）、双向模块堆叠、双向SSM、双向SSM+Conv1d等多种策略。结果明确显示，“双向SSM+反向Conv1d” 的组合在分类和分割任务上综合表现最佳。单向模型在分割任务上掉点严重，证实了双向视觉上下文不可或缺。
2. 分类头怎么设计？ 论文尝试了平均池化、最大池化、在序列头/尾/中部加class token等多种策略。最终发现，在序列中间插入class token效果最好。这很可能是因为SSM的循环特性，使得序列中间位置的token能够最均衡地汇聚来自序列两端的全局信息，这与图像中心物体先验也恰好吻合。

5. 展望与思考：Vim将把我们带向何方？

通过上面的剖析，我们可以看到，Vision Mamba不仅仅是一个更快的Transformer替代品，它代表了一种新的视觉建模范式：用线性复杂度的选择性状态空间模型，进行双向的、全局的序列建模。它成功地将Mamba在语言上的效率优势与视觉任务的空间感知需求结合了起来。

从我个人的经验来看，Vim及其代表的方向，可能会在以下几个方面产生深远影响：

1. 高分辨率视觉任务的平民化。 以前处理十亿像素图像是大型实验室和公司的“特权”，需要复杂的分布式训练和推理流水线。Vim的线性复杂度使得在单卡或少量卡上处理这类数据成为可能，极大降低了研究和应用门槛。这对于病理学、遥感、工业质检等领域是重大利好。

2. 统一的多模态骨干网络。 Vim的序列建模本质与文本、音频等模态天然契合。论文中也提到，其架构易于扩展到多模态任务，如CLIP风格的图文对比学习。一个高效统一的骨干网络，可能是通向更强大通用人工智能的关键一步。

3. 探索新的预训练范式。 Transformer的成功离不开掩码语言建模（MLM）等自监督预训练。Vim同样适合进行掩码图像建模（MIM） 预训练。其双向建模能力可以自然地进行上下文预测，有望学习到更强大的视觉表征。

4. 硬件协同设计的新机会。 Mamba/Vim的递归推理模式与Transformer的并行注意力模式不同，这可能会催生新的硬件加速设计，专门优化状态空间模型的扫描（Scan）操作，从而带来进一步的效率提升。

当然，Vim也并非完美。目前它的模型规模还不够大，在超大规模数据集（如ImageNet-21K、JFT）上的预训练效果有待验证。此外，如何将这种序列建模范式更好地与一些视觉特有的归纳偏置（如尺度不变性、旋转不变性）结合，也是一个开放的研究方向。

踩过几次坑之后，我的建议是，如果你是研究者，Vim是一个非常值得深入探索的架构，尤其是在需要长序列、高分辨率建模的场景。如果你是工程师，面对实际业务中的高分辨率图像处理瓶颈，Vim提供了一个极具潜力的新选择，不妨在性能与效率的权衡中将其纳入考量。

技术的浪潮总是一波接着一波。从CNN到Transformer，我们看到了架构创新带来的巨大红利。现在，状态空间模型正在掀起新的浪潮。Vision Mamba作为这股浪潮在视觉领域的先锋，已经展示了令人兴奋的潜力。它是否能够成为下一代视觉基础模型的主流？让我们拭目以待。但无论如何，它为我们打开了一扇新的大门，门后是一个更高效、更通用的视觉智能未来。