大模型是怎么炼成的:预训练、微调与对齐
预训练让它「会说话」,微调让它「听得懂指令」,对齐让它「说得体面」。三段工序的数据、成本和目标完全不同,混为一谈就会得出错误结论,比如以为微调可以给模型灌知识。
第一段:预训练——把互联网读一遍
预训练的任务简单到近乎粗暴:给一段文本,遮住后面的部分,让模型预测下一个 token。整段文本本身既是输入也是答案,所以不需要人工标注,这叫自监督学习。
为了把这件事做准,模型被迫学会语法、事实、写作风格、代码结构,甚至推理的套路——因为「下一个词最可能是什么」在某种程度上要求理解前文。
这一步的规模用三个数字描述:参数量、训练 token 数、算力。Scaling Law 是经验规律:在其他条件配合时,三者同步放大,损失会按可预测的幂律下降。它让「堆规模」从赌博变成了可规划的工程。
预训练出来的叫基座模型。它很博学,但不会聊天:你问它问题,它可能接着给你续写几个相似的问题。因为它只学过「预测下一个 token」,没学过「回答」。成本上,这一段占了整个训练开销的绝大部分。
第二段:监督微调——学会听话
拿几万到几十万条高质量的「指令 → 回答」样本,继续训练。这一步叫 SFT(监督微调),目标是让模型学会「用户这样问,我该那样答」的格式与角色。
样本质量远比数量重要。一条精心撰写的回答,胜过一百条敷衍的。很多团队在这一步翻车,不是因为数据少,而是因为数据风格不一致、事实错误多,模型把错误示范也学走了。
第三段:偏好对齐——学会得体
SFT 之后模型能答了,但答得未必好:可能啰嗦、可能不安全、可能不按要求格式输出。对齐阶段就是解决这个「好不好」的问题。
- RLHF:先让人对多个回答排序,训练一个「奖励模型」学会打分,再用强化学习让大模型去追求高分。效果显著,但流程复杂、不稳定。
- DPO:跳过奖励模型,直接用「好回答 / 差回答」成对的数据优化模型。实现简单很多,目前被广泛采用。
- 安全对齐:拒答有害请求、避免泄露隐私,也常在这一阶段用规则和样本一起注入。
对齐是有代价的:过度对齐会让模型变得过度谨慎、答非所问,业内称为「对齐税」。
落地时的四个配套技术
- LoRA:不动原模型参数,只在旁边插入小矩阵训练,把可训练参数量降几个数量级。单张消费级显卡就能微调,产物是一个几十 MB 的适配器,可插拔。
- 全参微调:所有参数都更新,效果上限更高,但显存和成本高得多,适合有充足资源的团队。
- 蒸馏:让小模型学大模型的输出分布,用「大模型的判断」当教材,把能力压缩进更小的模型。
- 量化:把权重从 16 位压缩到 8 位、4 位,显存占用成倍下降,通常只损失很小一点效果。这是本地部署能跑起来的关键。
一个必须澄清的误解
「模型读过整个互联网,所以它知道事实」——这句话前半段大致对,后半段是错的。
预训练的目标是「让下一个词的分布像人写的」,不是「建立可查询的事实库」。所以模型记住的是语言的统计规律,事实只是附带产物:常见事实记得牢,冷门事实容易编。它也没有「不知道」这个明确信号,因为训练时每个位置都必须给出一个概率分布,编一个流畅的答案在数学上更「划算」。
理解这一点,就能理解为什么幻觉是结构性的,而不是调参能修掉的 bug。
这几条值得记住
- 预训练学语言与知识,SFT 学指令格式,对齐学「答得好」。
- Scaling Law 让「堆规模」变成可预测的工程,但成本极高。
- 微调主要改风格与格式,补知识优先用 RAG。
- LoRA 省显存、蒸馏压体积、量化降成本,三者常一起用。
常见问题
基座模型和对话模型有什么区别?
基座模型只做过预训练,擅长续写而非回答;对话模型在基座之上做了 SFT 和对齐,能理解指令并按角色作答。做垂直领域微调时,通常从对话模型或基座模型起步,取决于是否需要保留对话能力。
RLHF 和 DPO 该选哪个?
资源充足、追求上限时用 RLHF;数据以「好/坏成对」为主、希望快速迭代时用 DPO。多数团队的现实选择是先 DPO,把流程跑通。
自己微调一个大模型要多少数据?
取决于目标。只调输出风格或格式,几百到几千条高质量样本通常够用;要显著改变领域能力,往往需要几万条以上,并且必须留出独立测试集验证是否真的变好。