Transformer 与注意力机制:一句话里谁该看谁
Transformer 是当今几乎所有大模型的骨架,它解决的问题只有一个:让每个词都能直接看到句子里其他所有词,并且能并行计算。核心零件叫自注意力。
先看它取代了什么
在 Transformer 之前,处理语言主要用循环神经网络(RNN):从左到右一个词一个词地读,把读过的内容压进一个隐藏状态。两个致命问题:
- 不能并行:必须等前一个词算完才能算下一个,GPU 再强也用不满。
- 记不住远处:信息要经过几十上百次传递才能从句子开头到达结尾,中间会衰减。
Transformer 的做法是彻底放弃「按顺序读」,让每个词同时和句子里所有词直接建立联系。一步到位,全部并行。这就是它能被无限堆大的前提。
注意力的直觉:一次带权重的查字典
把注意力想成查字典:你手里有一个词(查询),去和每个词的「索引」比对,看谁最相关,然后按相关程度把它们的「释义」加权汇总。
这就是 Q、K、V 三个矩阵的来历,它们都由同一个输入向量乘上不同的可训练矩阵得到:
- Q(Query,查询):我现在想找什么信息。
- K(Key,键):我能提供什么信息。
- V(Value,值):我实际要交出去的内容。
计算过程四步:Q 与每个 K 做点积得到相关分数 → 除以 √d 缩放 → softmax 归一化成权重 → 用权重对 V 加权求和。
除以 √d 是因为维度 d 越大,点积的数值方差越大,直接 softmax 会变成几乎全给一个词(梯度接近 0)。缩放只是为了训练稳定,不是什么玄学技巧。
多头:一次看几种关系
单次注意力只能学到一种「相关性」。多头注意力把 Q、K、V 各切成 h 份并行计算,最后拼接起来。不同的头在实践中会分工:有的盯语法主谓关系,有的盯代词指代,有的盯固定搭配。
除了自注意力(自己看自己),还有交叉注意力:Q 来自解码端,K 和 V 来自编码端。机器翻译、图文模型里常用它把两段不同来源的信息对齐。
顺序信息与上下文窗口
并行带来的副作用是:模型不知道谁在前谁在后。所以要在输入向量上加位置编码。早期用正弦函数,现在主流是 RoPE(旋转位置编码),它能让模型自然地把「相对距离」带进注意力分数里,也更容易外推到更长的文本。
一层 Transformer 只是一次信息交换,要真正理解复杂语义需要堆几十上百层。层数、宽度、头数、词表大小共同决定参数量。
所谓上下文窗口,就是模型一次能处理的 token 上限。它受限于位置编码的外推能力、注意力计算量(长度翻倍,计算量约翻四倍)以及显存。为了不重复计算,推理时会缓存已算过的 K 和 V,这就是KV 缓存——也是长对话越聊越吃显存的原因。
三个常见误解
- 「注意力权重就是解释」:权重高只说明这一步取的信息多,不等于模型「因为这个词才这么答」。用它做解释可以作为参考,但不能当作因果证据。
- 「上下文窗口 = 记忆力」:窗口只是能放进去,不代表模型会均匀使用。中段信息被忽略的现象普遍存在,重要内容建议放在开头或结尾,并明确重复一遍。
- 「Transformer 只用于语言」:它是通用序列建模结构。图像切成小块(ViT)、语音切成帧、蛋白质序列,都能用同一套结构处理,这也是多模态模型能统一架构的基础。
这几条值得记住
- Transformer 的核心优势:全并行 + 任意两个位置直接建立联系。
- Q 找什么、K 有什么、V 给什么;相关度 = QK 点积,缩放后 softmax。
- 多头让模型同时捕捉多种关系;位置编码补回顺序信息。
- 上下文窗口受位置编码与计算量限制,长≠用得好。
常见问题
为什么注意力要除以根号 d?
维度越高,点积结果的数值范围越大,softmax 会趋向于「一个词拿满权重」,其余接近 0,梯度几乎消失。除以 √d 把方差拉回 1 左右,训练更稳定。
Transformer 一定比 RNN 好吗?
在长序列和大规模并行训练上优势明显,但注意力的计算量随长度平方增长。超长序列、流式处理、边缘设备等场景,RNN 变体或状态空间模型仍有价值。
上下文窗口 128K 是什么概念?
大约是十几万 token,粗略相当于十万字以内的中文(按 1 字 1~2 token 估算)。但实际使用时,有效利用往往远低于理论上限,重要信息要主动强调。