首页/AI 常识/Transformer 与注意力机制
第 3 层 · 进阶 第 5 / 9 篇 约 9 分钟

Transformer 与注意力机制:一句话里谁该看谁

Transformer 是当今几乎所有大模型的骨架,它解决的问题只有一个:让每个词都能直接看到句子里其他所有词,并且能并行计算。核心零件叫自注意力。

先看它取代了什么

在 Transformer 之前,处理语言主要用循环神经网络(RNN):从左到右一个词一个词地读,把读过的内容压进一个隐藏状态。两个致命问题:

  • 不能并行:必须等前一个词算完才能算下一个,GPU 再强也用不满。
  • 记不住远处:信息要经过几十上百次传递才能从句子开头到达结尾,中间会衰减。

Transformer 的做法是彻底放弃「按顺序读」,让每个词同时和句子里所有词直接建立联系。一步到位,全部并行。这就是它能被无限堆大的前提。

注意力的直觉:一次带权重的查字典

把注意力想成查字典:你手里有一个词(查询),去和每个词的「索引」比对,看谁最相关,然后按相关程度把它们的「释义」加权汇总。

这就是 Q、K、V 三个矩阵的来历,它们都由同一个输入向量乘上不同的可训练矩阵得到:

  • Q(Query,查询):我现在想找什么信息。
  • K(Key,键):我能提供什么信息。
  • V(Value,值):我实际要交出去的内容。

计算过程四步:Q 与每个 K 做点积得到相关分数 → 除以 √d 缩放 → softmax 归一化成权重 → 用权重对 V 加权求和。

除以 √d 是因为维度 d 越大,点积的数值方差越大,直接 softmax 会变成几乎全给一个词(梯度接近 0)。缩放只是为了训练稳定,不是什么玄学技巧。

多头:一次看几种关系

单次注意力只能学到一种「相关性」。多头注意力把 Q、K、V 各切成 h 份并行计算,最后拼接起来。不同的头在实践中会分工:有的盯语法主谓关系,有的盯代词指代,有的盯固定搭配。

除了自注意力(自己看自己),还有交叉注意力:Q 来自解码端,K 和 V 来自编码端。机器翻译、图文模型里常用它把两段不同来源的信息对齐。

一句话记住注意力 = 按相关度加权取信息。相关度由 Q 和 K 的点积算出,取的是 V。全部可学习,全部可并行。

顺序信息与上下文窗口

并行带来的副作用是:模型不知道谁在前谁在后。所以要在输入向量上加位置编码。早期用正弦函数,现在主流是 RoPE(旋转位置编码),它能让模型自然地把「相对距离」带进注意力分数里,也更容易外推到更长的文本。

一层 Transformer 只是一次信息交换,要真正理解复杂语义需要堆几十上百层。层数、宽度、头数、词表大小共同决定参数量。

所谓上下文窗口,就是模型一次能处理的 token 上限。它受限于位置编码的外推能力、注意力计算量(长度翻倍,计算量约翻四倍)以及显存。为了不重复计算,推理时会缓存已算过的 K 和 V,这就是KV 缓存——也是长对话越聊越吃显存的原因。

三个常见误解

  • 「注意力权重就是解释」:权重高只说明这一步取的信息多,不等于模型「因为这个词才这么答」。用它做解释可以作为参考,但不能当作因果证据。
  • 「上下文窗口 = 记忆力」:窗口只是能放进去,不代表模型会均匀使用。中段信息被忽略的现象普遍存在,重要内容建议放在开头或结尾,并明确重复一遍。
  • 「Transformer 只用于语言」:它是通用序列建模结构。图像切成小块(ViT)、语音切成帧、蛋白质序列,都能用同一套结构处理,这也是多模态模型能统一架构的基础。

这几条值得记住

  • Transformer 的核心优势:全并行 + 任意两个位置直接建立联系。
  • Q 找什么、K 有什么、V 给什么;相关度 = QK 点积,缩放后 softmax。
  • 多头让模型同时捕捉多种关系;位置编码补回顺序信息。
  • 上下文窗口受位置编码与计算量限制,长≠用得好。

常见问题

为什么注意力要除以根号 d?

维度越高,点积结果的数值范围越大,softmax 会趋向于「一个词拿满权重」,其余接近 0,梯度几乎消失。除以 √d 把方差拉回 1 左右,训练更稳定。

Transformer 一定比 RNN 好吗?

在长序列和大规模并行训练上优势明显,但注意力的计算量随长度平方增长。超长序列、流式处理、边缘设备等场景,RNN 变体或状态空间模型仍有价值。

上下文窗口 128K 是什么概念?

大约是十几万 token,粗略相当于十万字以内的中文(按 1 字 1~2 token 估算)。但实际使用时,有效利用往往远低于理论上限,重要信息要主动强调。

继续读下一课 大模型是怎么炼成的:预训练、微调与对齐 预训练让它「会说话」,微调让它「听得懂指令」,对齐让它「说得体面」。三段工序的数据、成本和目标完全不同,混为一谈就会得出错误结论,比如以为微调可以给模型灌知识。
Advertisement
底部广告位 728×90 / 移动端 320×100