首页/AI 常识/Token 与向量(Embedding)
第 3 层 · 进阶 第 4 / 9 篇 约 8 分钟

Token 与向量:模型眼里的文字长什么样

模型不认识汉字,只认识数字。第一步要把文字切成 Token,第二步把每个 Token 查表变成一串数字(向量)。这两步决定了模型能看多长、算得贵不贵、以及「语义相近」是怎么被算出来的。

第一步:把文字切成 Token

模型没有字典,它面对的必须是数字。所以第一件事是把一段文字切成一个个小片段,每个片段查表得到一个整数编号。这些片段就叫 Token。

切法不是按字、也不是按词,而是介于两者之间的子词(subword)。常见算法是 BPE:从字符开始,把出现频率高的相邻片段不断合并,最终得到一份几万到十几万条的词表。这样既能覆盖生僻词(拆成更小的片段),又不会让词表无限膨胀。

一个实用估算英文里 1 个 token 大约对应 0.75 个单词;中文不同分词器差异较大,常见情况是 1 个汉字约等于 1~2 个 token。所以同样字数,中文往往更「贵」——因为这直接影响计费和上下文长度。

为什么要在意 Token?因为它是模型的计价单位,也是上下文窗口的单位。所谓「上下文 128K」,指的是模型一次最多能处理 12.8 万个 token,而不是 12.8 万个汉字。

第二步:把 Token 变成向量

拿到编号后,模型去一张巨大的表里查出一串数字,比如 4096 个浮点数,这串数字就是这个 token 的词向量(Embedding)。

关键在于这张表不是人写的,是训练出来的。训练的目标让「用起来像的词」在向量空间里彼此靠近。于是出现了一些反直觉但很有用的性质:

  • 「猫」和「狗」的向量距离很近,「猫」和「微波炉」很远。
  • 向量可以做算术:经典例子是「国王 − 男人 + 女人 ≈ 女王」。
  • 距离通常用余弦相似度衡量:看两个向量夹角,越接近 1 越相似,与长度无关。

需要强调的是:这里的「相近」是用法相近,不是「意思相同」。模型学到的只是「这些词经常出现在相似的上下文里」。

同一句话里的同一个词,向量并不相同

最初的词向量是静态的,「苹果」永远对应同一个向量,无法区分水果和公司。现代模型在送入网络后,会结合上下文重新计算每个位置的表示,所以同一句话里同一个词在不同语境下得到的向量是不同的。这一步叫上下文相关表示,也是 Transformer 相对早期模型的核心优势之一。

另外,注意力机制本身不区分顺序——「狗咬人」和「人咬狗」的 token 完全一样。所以还要给每个位置额外加一个位置编码,把「你是第几个字」这个信息混进向量里,模型才知道谁在前谁在后。

向量能干什么:四个真实用途

  • 语义搜索:把文档全部转成向量存起来,用户提问也转成向量,找距离最近的几条。它比关键词搜索强在能理解同义表达,比如「怎么退票」也能命中「退订流程」。
  • RAG 检索:把企业文档切片、向量化,提问时先检索相关片段再交给模型。这是目前抑制幻觉最常用的工程手段。
  • 聚类与去重:把 embedding 聚一聚,就能自动发现主题相近的工单、评论、文章。
  • 推荐与召回:用户行为和内容都在同一向量空间里,距离近就推给你。

承载这些向量的数据库叫向量数据库,它的核心能力是「在几百万条向量里快速找到最近的几十条」,常用近似最近邻(ANN)算法牺牲一点精度换速度。

两个常见误解

  • 「Token 就是字或词」:不是。同一个字在不同位置可能被切得不一样;英文单词也可能被拆成几段。Token 是分词器人为定义的片段。
  • 「Embedding 像加密,可以还原原文」:不能。它是一个有损的语义压缩,几百上千维的数字里已经丢失了原文的字面信息,无法反推。

这几条值得记住

  • Token 是模型处理文字的最小单位,不等于字也不等于词。
  • Embedding 是训练出来的向量,相近=用法相近,不是意思相同。
  • 位置编码补上了注意力机制缺失的顺序信息。
  • 向量检索是语义搜索与 RAG 的地基。

常见问题

中文的 Token 为什么比英文贵?

多数分词器的词表以英文语料为主,中文常被切成更细的片段,同样信息量需要更多 token。这也是中文场景成本偏高的原因之一。

余弦相似度高就说明语义相同吗?

不一定。高相似度只说明使用场景接近,反义词(如「喜欢」和「讨厌」)也可能因为上下文相似而距离很近。用于检索时通常还要配合关键词或重排模型。

上下文窗口越大越好吗?

不是。窗口越大,同样长度的输入计算和显存成本越高;而且已有研究表明,关键信息落在长上下文中部时容易被忽略(俗称 lost in the middle)。把资料精炼后再喂,往往比硬塞长文更有效。

继续读下一课 Transformer 与注意力机制:一句话里谁该看谁 Transformer 是当今几乎所有大模型的骨架,它解决的问题只有一个:让每个词都能直接看到句子里其他所有词,并且能并行计算。核心零件叫自注意力。
Advertisement
底部广告位 728×90 / 移动端 320×100