深度学习进阶（五）Vision Transformer

夜半钟声 發表於 2026-4-8 21:43:00

深度学习进阶（五）Vision Transformer

在上一篇，我们已经完整介绍了原始 Transformer 的结构和整体传播逻辑。
从结果上看，Transformer 在 NLP 领域带来了范式级的突破：通过自注意力机制实现了对序列的全局建模能力。 
然而，实际上，原始 Transformer 依然只是一个面向序列数据的模型。
自然而然地，这种全新的建模方式引起了相关的思潮，首当其冲的便是：
<blockquote>
既然自注意力机制本质上是一种全局依赖建模方法，它是否真的只适用于“序列”这一种数据形式？
</blockquote>
换句话说，如果我们不再局限于文本，而是将目光投向更广泛的数据类型，例如图像这种天然具有二维结构的信息，Transformer 是否依然能够发挥作用？
于是 Vision Transformer 应运而生。它尝试回答的问题便是：
<blockquote>
如果抛开卷积结构，仅依赖注意力机制，能否完成视觉任务的建模？
</blockquote>
我们以此为出发点，展开 Vision Transformer，即 ViT 的逻辑。
<h1 id="1-vit-的核心思想">1. ViT 的核心思想</h1>
ViT 提出于 2020 年的论文：An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale，它首次证明了纯 Transformer（无卷积）可以在视觉任务上达到 SOTA 。
你会发现 ViT 的提出距离原始 Transformer 的发表已经过去三年了，但这并不意味着Transformer 的发展进入了停滞期。 
实际上，这三年正是 Transformer 爆炸式扩展的阶段，只不过主要发生在 NLP 内部，在语言任务中完成充分验证之后，Transformer 逐渐被视为一种通用的序列建模框架。在此基础上，向视觉等其他模态的扩展，才成为顺理成章的下一步。
再回到 ViT 自身，其核心思路不难理解，可以一句话概括：
<blockquote>
把图像切成“块（Patch）”，然后当作 token 序列送入 Transformer 的 encoder 。
</blockquote>
<h1 id="2vit-的数据处理">2.ViT 的数据处理</h1>
要说明的是：对标 CV 任务，ViT 只使用了 Transformer 的 encoder 逻辑，因此，其重点其实是在对数据的处理上。
<h2 id="21-patch-划分">2.1 Patch 划分</h2>
首先，我们要把图像分割成一个个等大不重叠的块，即 Patch : 
<img src="https://img2024.cnblogs.com/blog/3708248/202604/3708248-20260408213203586-2051823882.png" alt="image.png" loading="lazy"> 
原始 ViT 设计输入图像大小为 \(224 \times 224 \times 3\)，而 patch 大小是 \(16 \times 16\) 。 
于是，最终得到 patch 数量即为：
<div class="math display">\[N = \frac{224 \times 224}{16 \times 16} = 14 \times 14 = 196
\]</div>很好理解，再简单推广一下，对于输入图像：
<div class="math display">\[\mathbf{X} \in \mathbb{R}^{H \times W \times C}
\]</div>如果设计每个 patch 大小为 \(P \times P\)，那么得到的 patch 数量就是：
<div class="math display">\[N = \frac{HW}{P^2}
\]</div><h2 id="22-展平">2.2 展平</h2>
现在，我们已经把一张二维图像拆成了 \(N\) 个小块。但仍然存在问题：Transformer 并不能直接处理二维结构的数据，它只能接收“向量序列”。
因此，接下来要做的事情就很明确了：把每一个 Patch 转换为一个向量。 
而转换方法就是最基本的展平： 
<img src="https://img2024.cnblogs.com/blog/3708248/202604/3708248-20260408213213511-1579450968.png" alt="image.png" loading="lazy"> 
即对于每一个 patch，其原始形状为：
<div class="math display">\[P \times P \times C
\]</div>我们将其按通道展开为一个一维向量：
<div class="math display">\[\mathbf{x}_p \in \mathbb{R}^{P^2 \cdot C}
\]</div>以 ViT 中的配置 \(P = 16\)、\(C = 3\) 为例，则：
<div class="math display">\[\mathbf{x}_p \in \mathbb{R}^{16 \times 16 \times 3 = 768}
\]</div>现在，每一个 patch 已经变成了一个固定长度的向量表示。
但是，我们在很早之前的图像处理基础中就提到过：展平会带来空间信息的损失。 
在这一步处理后，数据就无法再提供类似“鼻子要在嘴巴上面”的空间信息了，这也是我们在卷积内容中提到的用全连接网络处理图像的弊端之一。
显然，ViT 会采用别的措施来弥补这个问题，我们继续：
<h2 id="23-线性映射">2.3 线性映射</h2>
完成展开后，我们已经得到了每个 patch 的序列表示，但这里还有一个细节问题：展平后的向量维度是 \(P^2C\)，而 Transformer 的输入维度通常是一个统一的隐藏维度 \(D\)。
因此，我们将每个 patch 展平后的向量通过一个线性变换映射到目标维度：
<div class="math display">\[\mathbf{z}^i = \mathbf{x}^i \mathbf{W} + \mathbf{b}
\]</div><img src="https://img2024.cnblogs.com/blog/3708248/202604/3708248-20260408213157963-1494965739.png" alt="image.png" loading="lazy">
现在，一个 patch 就变成了一个 token。
不过显然，一个明显的问题就是：如果 \(P^2C=D\) ,那这一步是不是就没有必要了？ 
答案当然是否定的，在这里，我们不仅要看维度关系，还要想到线性层本身在这里的语义作用： 
如果我们不对原始二维信息“序列化”，那么在一个常见的卷积网络中，我们会使用卷积层来进行特征提取，其运算逻辑本身仍是可学习参数下的加权求和。 
而现在，我们把 patch 转换为 token ，输入线性层本身仍然是特征提取的过程，类比来说：patch 就相当于感受野，而权重就是卷积核。
而我们最终得到的向量，其实就相当于完成了对 patch 的词嵌入过程。
<h2 id="24--cls-token">2.4 token</h2>
在正式进入模型前，我们对输入的处理仍没有结束，我们把一幅图像转变为一组 token ，那么一个问题是：
<blockquote>
在分类任务中，我们应该使用哪一个 token 来代表整张图像？
</blockquote>
如果发散来想，可能的做法包括对所有 token 做平均或拼接所有 token 后再融合等。 
但 ViT 的选择是： 引入一个专门用于“汇聚全局信息”的 token，即 token。 
在更广的应用任务中，也叫全局 token 。
<img src="https://img2024.cnblogs.com/blog/3708248/202604/3708248-20260408213158082-1163200716.png" alt="image.png" loading="lazy"> 
展开来说：对于原本划分为 \(N\) 个 token 的图像：
<div class="math display">\[[\mathbf{z}^1, \mathbf{z}^2, \dots, \mathbf{z}^N]
\]</div>我们在最前面拼接一个 token：
<div class="math display">\[[\mathbf{x}_{cls}, \mathbf{z}^1, \mathbf{z}^2, \dots, \mathbf{z}^N]
\]</div>这里的 \(\mathbf{x}_{cls}\) 是一个随机初始化的可学习参数，与其他 token 具有完全相同的维度。
要强调的是， token 是一个可学习参数，所以这里的“汇聚全局信息”是我们为其赋予的语义并在之后的逻辑里实现的。 
我们先继续传播过程，在下面就会展开其具体逻辑：
<h2 id="25--位置编码-pe">2.5位置编码 PE</h2>
现在，我们还有一个遗留问题：
<blockquote>
由patch 转换得到 token 失去了彼此之间的“位置信息”。
</blockquote>
不像 CNN ，现在模型并不知道哪个 patch 在左上角、哪个 patch 在右下角、哪些 patch 是相邻的。 
这显然是不合理的， 因为在视觉任务中位置本身就是一种极其重要的信息。
因此，ViT 延续了 NLP 中的机制：位置编码。
<div class="math display">\[\mathbf{X}_{input} = \mathbf{E}_{embedding} + \mathbf{E}_{pos}
\]</div>但和原始 Transformer 的正余弦固定编码不同，ViT 使用的是可学习位置编码： 
<img src="https://img2024.cnblogs.com/blog/3708248/202604/3708248-20260408213157242-1074714232.png" alt="image.png" loading="lazy">
展开来说，在 ViT 中，位置编码被建模为一组可学习的参数矩阵，模型为每一个 token 位置都分配一个对应的向量表示，这些向量在训练过程中与模型参数一起被优化。
假设输入序列包含 \(N+1\) 个 token（其中包含 1 个 token 和 \(N\) 个 patch token），则位置编码可以表示为：
<div class="math display">\[\mathbf{E}_{pos} \in \mathbb{R}^{(N+1) \times D}
\]</div>其中，每一行都对应一个位置的可学习向量，以此完成 PE 的注入。
到这里，我们就完成了数据的所有处理，我们留下了两个问题没有详细展开：
<ol>
<li>ViT 究竟如何弥补空间信息的损失？</li>
<li> token 如何“汇聚全局信息”？</li>
</ol>
二者在 ViT 的 Transformer 逻辑便可以被解答。
<h1 id="3-vit-的-transformer-逻辑">3. ViT 的 Transformer 逻辑</h1>
就像最开始说的，ViT 只使用了 Transformer 的 encoder ,我们在前面的内容里已经详细展开过了，这里我们摆一下原论文中的完整传播图： 
<img src="https://img2024.cnblogs.com/blog/3708248/202604/3708248-20260408213157501-422458737.png" alt="image.png" loading="lazy"> 
网络结构本身十分清晰，我们从刚刚的问题出发，展开这部分里要理解的内容：
<h2 id="31-vit-究竟如何弥补空间信息的损失">3.1 ViT 究竟如何弥补空间信息的损失？</h2>
对于这个问题，可能在刚刚的位置编码可能会有所启发：
<blockquote>
既然 PE 是可学习的，那难道空间信息是训练出来，体现在 PE 中的吗？
</blockquote>
如果只停留在这里，就片面，甚至错误了。 
实际上，真正完成“空间关系建模”的，是自注意力机制。
展开来说：首先，我们已经不只一次提到过自主力机制的全局建模能力了，也就是说，当patch 转换成的 token 序列输入自注意力中后， 每一个 patch token，都可以直接和所有其他 patch 建立联系。
通过注意力我们可以学习得到不同 patch 间的相关性，但是仅仅知道这个不够的，如果向量里没有位置信息，我们就无法学习到位置上的关联，因此 PE 仍然必不可少。 
二者结合，虽然模型不知道“左上角”这个概念，但它可以学到：
<ul>
<li>哪些 patch 经常一起出现（例如：眼睛和鼻子）。</li>
<li>哪些 patch 存在相对结构（例如：天空通常在地面上方）。</li>
</ul>
到这里，关键点就出现了：ViT 不同于卷积让空间结构作为已知信息加入训练，空间信息其实是 ViT 的统计学习结果。 
<img src="https://img2024.cnblogs.com/blog/3708248/202604/3708248-20260408214155982-1276003034.png" alt="image" loading="lazy"> 
其实从直觉角度，对这种逻辑先想到的应该是它的局限：对数据量的高要求。 
但它的优势在于全局建模能力：CNN 想看到全局，必须叠很多层或者用大卷积核，但 ViT 一步到位：第一层注意力，就已经是全局感受野。
最终，对这个问题的答案是：
<blockquote>
ViT 并没有“恢复”空间结构，而是用“位置编码 + 自注意力”在数据中重新学习空间结构。
</blockquote>
<h2 id="32-cls-token-如何汇聚全局信息">3.2 token 如何“汇聚全局信息”？</h2>
接下来我们看第二个问题： 为什么一个随机初始化的向量，最后可以代表整张图像？
其核心仍然是自注意力机制：首先在 Transformer 中，每一层的注意力都会做一件事情：
<blockquote>
每个 token 都会从“所有 token”那里收集信息（加权求和）。
</blockquote>
因此， token 在每一层都会执行：
<div class="math display">\[\mathbf{x}_{cls}^{(l+1)} = \sum_{j} \alpha_{cls,j} \mathbf{z}_j^{(l)}
\]</div>到这里，我们知道了 token 会逐层提炼信息，但问题依然存在：
<blockquote>
不仅 token 在提炼，其他 token 也都在提炼，为什么只有你能代表全局？
</blockquote>
没错，从计算上讲：所有 token 都在做全局信息融合，也就是说每个 patch token 都能“看到全局”，最终其实都包含了一定程度的全局信息。
实际上，这是因为在设计里只有 CLS 被当作“最终输出”来使用。 
在分类任务中，ViT 的最终输出是：
<div class="math display">\[\text{logits} = \text{MLP}(\mathbf{x}_{cls}^{(L)})
\]</div>也就是说：只有 token 会被送入输出层完成分类，并直接参与损失函数计算。 
因此，从反向传播来说：只有 token 会被“强制要求”去学习对分类最有用的全局信息。 
这才是它能汇聚全局语义的原因，是我们手动设计的监督驱动，让其在反向传播中不断学习全局语义。 
同样给个较官方的答案：
<blockquote>
 token 并不是天然具备“全局语义”的特殊结构，而是由于它是唯一直接参与监督训练的 token，因此被优化为一个能够表达整张图像语义的表示。
</blockquote>
<h1 id="4总结">4.总结</h1>
ViT 的核心作用可以概括为：将图像转化为 token 序列，并在统一的 Transformer 框架下完成全局建模。
相比传统 CNN，它最关键的突破在于：不再依赖局部感受野与平移不变性等空间先验，而是通过自注意力机制直接在全局范围内建立 patch 之间的联系。这使得模型从一开始就具备全局感受野，无需通过多层堆叠逐步扩展，从而在表达能力上具备更高的灵活性。
同时，ViT 并没有显式“恢复”图像的空间结构，而是通过位置编码（PE）与自注意力机制的结合，在数据中学习空间关系。
总体来看，ViT 的核心意义在于：它将 Transformer 从“序列建模框架”推广为“通用感知建模框架”。 
这种从“结构先验驱动”到“数据驱动建模”的转变，不仅重新定义了视觉任务的建模方式，也为后续多模态模型的发展奠定了统一的基础。
但是，ViT 仍有其局限，那就是需要超大规模的训练数据，自然，也就出现了针对这一问题的改进，我们在下一篇再展开介绍。 
来源：https://www.cnblogs.com/Goblinscholar/p/19837411

頁: [1]

琼殿技术论坛's Archiver

深度学习进阶（五）Vision Transformer