首页/AI 常识/大模型的训练三阶段
第 4 层 · 大模型 第 6 / 9 篇 约 9 分钟

大模型是怎么炼成的:预训练、微调与对齐

预训练让它「会说话」,微调让它「听得懂指令」,对齐让它「说得体面」。三段工序的数据、成本和目标完全不同,混为一谈就会得出错误结论,比如以为微调可以给模型灌知识。

第一段:预训练——把互联网读一遍

预训练的任务简单到近乎粗暴:给一段文本,遮住后面的部分,让模型预测下一个 token。整段文本本身既是输入也是答案,所以不需要人工标注,这叫自监督学习。

为了把这件事做准,模型被迫学会语法、事实、写作风格、代码结构,甚至推理的套路——因为「下一个词最可能是什么」在某种程度上要求理解前文。

这一步的规模用三个数字描述:参数量、训练 token 数、算力。Scaling Law 是经验规律:在其他条件配合时,三者同步放大,损失会按可预测的幂律下降。它让「堆规模」从赌博变成了可规划的工程。

预训练出来的叫基座模型。它很博学,但不会聊天:你问它问题,它可能接着给你续写几个相似的问题。因为它只学过「预测下一个 token」,没学过「回答」。成本上,这一段占了整个训练开销的绝大部分。

第二段:监督微调——学会听话

拿几万到几十万条高质量的「指令 → 回答」样本,继续训练。这一步叫 SFT(监督微调),目标是让模型学会「用户这样问,我该那样答」的格式与角色。

样本质量远比数量重要。一条精心撰写的回答,胜过一百条敷衍的。很多团队在这一步翻车,不是因为数据少,而是因为数据风格不一致、事实错误多,模型把错误示范也学走了。

关键区别预训练学「世界长什么样」,SFT 主要学「话该怎么说」。所以指望用微调给模型灌入一批新知识,通常效果有限;要补知识,优先考虑 RAG 或继续预训练。

第三段:偏好对齐——学会得体

SFT 之后模型能答了,但答得未必好:可能啰嗦、可能不安全、可能不按要求格式输出。对齐阶段就是解决这个「好不好」的问题。

  • RLHF:先让人对多个回答排序,训练一个「奖励模型」学会打分,再用强化学习让大模型去追求高分。效果显著,但流程复杂、不稳定。
  • DPO:跳过奖励模型,直接用「好回答 / 差回答」成对的数据优化模型。实现简单很多,目前被广泛采用。
  • 安全对齐:拒答有害请求、避免泄露隐私,也常在这一阶段用规则和样本一起注入。

对齐是有代价的:过度对齐会让模型变得过度谨慎、答非所问,业内称为「对齐税」。

落地时的四个配套技术

  • LoRA:不动原模型参数,只在旁边插入小矩阵训练,把可训练参数量降几个数量级。单张消费级显卡就能微调,产物是一个几十 MB 的适配器,可插拔。
  • 全参微调:所有参数都更新,效果上限更高,但显存和成本高得多,适合有充足资源的团队。
  • 蒸馏:让小模型学大模型的输出分布,用「大模型的判断」当教材,把能力压缩进更小的模型。
  • 量化:把权重从 16 位压缩到 8 位、4 位,显存占用成倍下降,通常只损失很小一点效果。这是本地部署能跑起来的关键。

一个必须澄清的误解

「模型读过整个互联网,所以它知道事实」——这句话前半段大致对,后半段是错的。

预训练的目标是「让下一个词的分布像人写的」,不是「建立可查询的事实库」。所以模型记住的是语言的统计规律,事实只是附带产物:常见事实记得牢,冷门事实容易编。它也没有「不知道」这个明确信号,因为训练时每个位置都必须给出一个概率分布,编一个流畅的答案在数学上更「划算」。

理解这一点,就能理解为什么幻觉是结构性的,而不是调参能修掉的 bug。

这几条值得记住

  • 预训练学语言与知识,SFT 学指令格式,对齐学「答得好」。
  • Scaling Law 让「堆规模」变成可预测的工程,但成本极高。
  • 微调主要改风格与格式,补知识优先用 RAG。
  • LoRA 省显存、蒸馏压体积、量化降成本,三者常一起用。

常见问题

基座模型和对话模型有什么区别?

基座模型只做过预训练,擅长续写而非回答;对话模型在基座之上做了 SFT 和对齐,能理解指令并按角色作答。做垂直领域微调时,通常从对话模型或基座模型起步,取决于是否需要保留对话能力。

RLHF 和 DPO 该选哪个?

资源充足、追求上限时用 RLHF;数据以「好/坏成对」为主、希望快速迭代时用 DPO。多数团队的现实选择是先 DPO,把流程跑通。

自己微调一个大模型要多少数据?

取决于目标。只调输出风格或格式,几百到几千条高质量样本通常够用;要显著改变领域能力,往往需要几万条以上,并且必须留出独立测试集验证是否真的变好。

继续读下一课 提示词、幻觉与 RAG:怎么让模型说得对 提示词不是咒语,它只是在收窄模型的概率分布;幻觉不是模型撒谎,而是它在「预测下一个词」这个目标下的必然产物。把这两点想明白,很多玄学技巧就不需要了。
Advertisement
底部广告位 728×90 / 移动端 320×100