神经网络是怎么「学」的:从神经元到梯度下降
神经网络听起来玄,拆开看只有三件事:一层层做加权求和、用非线性函数把结果掰弯、按误差的梯度往回改参数。把这个循环理解透,Transformer 也只是同一套骨架的变体。
一个神经元:加权求和 + 一个开关
神经网络的最小单元叫神经元,做的事只有一件:
输出 = 激活函数( w₁x₁ + w₂x₂ + … + b )
把输入乘上各自的权重 w 再求和,加一个偏置 b,最后过一个激活函数。权重决定「这条信息有多重要」,偏置决定「整体门槛高不高」,激活函数决定「要不要把信号放出去」。
把这些神经元并排放成一层,层与层之间全连接,就是最朴素的全连接网络。层数叫深度,每层神经元数叫宽度,所有 w 和 b 加起来就是参数量。所谓 7B 模型,就是七十亿个这样的数字。
为什么必须有激活函数
如果每一层都只做加权求和,那么十层叠起来,数学上仍然等价于一层——因为线性变换的复合还是线性变换。模型再深也学不会弯的边界。
激活函数的作用就是引入非线性,让网络能表达「不是一刀切」的规律。常见三个:
- ReLU:小于 0 输出 0,大于 0 原样输出。计算极快,是目前深层网络的主力。
- Sigmoid:把任意数压到 0~1,常用于二分类输出概率。层数深时容易梯度消失。
- Softmax:把一组数变成加起来为 1 的概率分布,多分类和大模型预测下一个词都用它。
前向传播:算出一个预测
输入从第一层流到最后一层,每层都做一次加权求和加激活,最后得到预测值。这个过程叫前向传播,就是「推理」时发生的事。
拿到预测值后,用损失函数和真实答案比一下:
- 回归问题常用均方误差:把差值平方后平均。
- 分类问题常用交叉熵:惩罚「把正确答案的概率给低了」。
损失函数是一个数字,但这个数字背后是一整片「地形」:每个参数都对应一个方向,往哪边挪会让损失变大或变小。
梯度下降与反向传播
梯度就是损失对每个参数的偏导,告诉你「这个参数往正方向挪一点,损失会升还是降」。梯度下降就是所有参数一起沿着梯度的反方向挪一小步,让损失往下走。
问题是有上亿个参数,逐个算偏导不现实。反向传播解决的就是这件事:利用链式法则,从最后一层的损失往回推,一次就把所有参数的梯度都算出来。它不是什么神秘算法,本质是「高效地做一次大规模求导」。
训练循环因此固定成四步,反复几万到几百万次:前向算预测 → 算损失 → 反向算梯度 → 更新参数。
三个必须认识的训练参数
- 学习率:每步挪多远。太小收敛慢,太大会直接跨过谷底来回震荡,是最需要调的超参数。
- 批次 batch size:一次用多少样本算一次梯度。批次大则稳但吃显存,批次小则噪声大但省资源。
- 轮次 epoch:把整个训练集完整过几遍。太多会过拟合,太少则没学会。
三个被说烂的误解
- 「神经网络模拟人脑」:只有最粗的类比关系。生物神经元有复杂的时序和化学机制,人工神经元只是一次加权求和,差距极大。
- 「参数越多越聪明」:参数是容量上限,不是能力本身。没有足够且干净的数据把参数训练到位,多出来的容量只会用来记住噪声。
- 「神经网络完全无法解释」:整体确实难以逐步归因,但并非黑箱到底。注意力权重、特征可视化、探针实验、输入扰动测试,都能提供部分证据,只是不能给出「因为所以」式的完整因果链。
这几条值得记住
- 神经元 = 加权求和 + 偏置 + 激活函数。
- 没有非线性激活,再多层也等价于一层。
- 训练循环:前向算预测 → 算损失 → 反向传播求梯度 → 更新参数。
- 学习率是最敏感的超参数,过大震荡、过小龟速。
常见问题
梯度消失和梯度爆炸是什么?
层数很深时,反向传播的梯度要连乘很多次。因子都小于 1 时梯度越乘越小(消失,浅层学不动),都大于 1 时越乘越大(爆炸,训练发散)。残差连接、合适的初始化、归一化层都是为了缓解这个问题。
为什么现在几乎都用 ReLU 而不是 Sigmoid?
ReLU 在正区间梯度恒为 1,不会因为连乘而迅速衰减,计算也只是一次比较,速度快。Sigmoid 在两端梯度接近 0,深层网络容易学不动。
训练一次大模型要多久?
取决于规模。百亿参数级别的模型在数百张高端显卡上通常需要数周;千亿级别往往要上千张卡跑数月。这也是为什么预训练成本极高,多数团队选择在开源基座模型上做微调。