首页/AI 常识/机器学习是怎么学的
第 2 层 · 基础 第 2 / 9 篇 约 8 分钟

机器学习的基本套路:数据、特征、标签与泛化

不管模型多复杂,机器学习的骨架都是同一套:准备带答案的样本,定义「错得多离谱」的度量,然后不断调整参数让这个度量变小。理解这套骨架,比记住任何算法名字都值。

一张表把六个名词钉死

所有机器学习问题都可以还原成这张表:

名词含义举个例子
样本一条数据记录一位客户的一次投保记录
特征用来判断的输入信息年龄、收入、历史理赔次数
标签这条样本的正确答案是否发生过理赔
训练集用来调整参数的数据过去三年的记录
验证集训练中用来调超参数、早停的数据从训练集里再切出 10%
测试集只在最后用一次,估真实效果最近半年的记录,训练时完全不碰

训练集和测试集必须分开,是整门学科最基本的一条纪律。如果用训练过的数据去评估,就像让学生做刚背过答案的卷子——分数好看,能力不可信。

三类学习方式,区别只在「有没有答案」

常听到的监督、无监督、强化,划分标准其实只有一个:数据里有没有告诉机器「正确答案」。

监督学习:有标准答案

每个样本都带着标签。标签是类别(猫 / 不是猫)叫分类;标签是连续数值(明天房价多少)叫回归。它是目前工业落地最多的一类,因为效果可衡量。

无监督学习:没有标准答案

只给特征,不给标签,让算法自己找结构。典型任务是聚类(把相似的用户自动分组)和降维(把上百个特征压成两三个便于可视化)。它常常用于探索,而不是直接出结论。

强化学习:答案延迟且稀疏

没有现成答案,只有一个环境:做动作、拿奖励、调整策略。下棋、机器人控制、推荐策略调优都属于这一类。它最难训练,因为「这一步走得好不好」可能要几十步之后才知道。

一句话记住有标签就监督,没标签就无监督,只有奖励就强化。三类之间不是高低关系,而是问题形态不同。

「学习」到底在做什么

把机器学习翻译成数学,只有两句话:

  1. 定义一个损失函数,用来衡量预测和真实答案差多少。
  2. 不断调整参数,让训练集上的平均损失变小。

所以「学习」并不是模型突然懂了什么,而是一次次试错后,把参数挪到一个让整体误差更小的位置。这也是为什么数据质量如此致命:损失函数只认数据,数据里有的偏见、缺失、错误,都会被老老实实学进去。业内有句话叫 garbage in, garbage out——喂进去垃圾,出来的也是垃圾。

过拟合:背答案的学生

训练损失很低,测试效果很差,这就是过拟合。模型没有学到规律,而是把训练集里的噪声和偶然细节一起背了下来。

打个比方:一个学生把练习册答案全背了,换一套题就崩。与之相对的是欠拟合——模型太简单,连训练集都学不好,相当于根本没学会。

常用的解法有:

  • 更多更好的数据:最有效,也最贵。
  • 正则化:在损失里加一项惩罚,抑制参数变得过大。
  • 早停:在验证集效果开始变差时就停下训练。
  • Dropout:训练时随机「关掉」一部分神经元,逼模型不要依赖某几条固定通路。
  • 交叉验证:把数据轮着切几份,轮流做验证,减少一次切分带来的偶然性。

评价模型能不能用,看的永远是泛化能力——在没见过的新数据上表现如何,而不是训练集上的分数。

准确率为什么会骗人

假设一个二分类任务里,负样本占 99%。一个永远回答「负」的模型,准确率是 99%,但它毫无用处。所以只看准确率是危险的,尤其是样本极不均衡的场景(欺诈检测、疾病筛查、故障预警)。

  • 精确率:模型说「是」的里面,有多少真的是。
  • 召回率:真正是「是」的样本里,模型找出了多少。
  • F1:两者的调和平均,用来折中。

这两个指标通常是矛盾的:把判定门槛调低,召回率上去,精确率就下来。实际业务中必须先想清楚「漏掉一个和误报一个,哪个代价更大」,再选阈值,而不是直接取默认的 0.5。

这几条值得记住

  • 机器学习的骨架:样本 + 特征 + 标签 → 损失函数 → 调参数。
  • 训练集、验证集、测试集必须分开,否则评估结果没有意义。
  • 过拟合 = 背答案,欠拟合 = 没学会;看泛化,不看训练分数。
  • 样本极不均衡时,准确率会骗人,要看精确率和召回率。

常见问题

过拟合和欠拟合怎么快速判断?

对比训练集和验证集的误差:两者都很高,是欠拟合;训练误差很低但验证误差明显高,是过拟合。这个差距越大,过拟合越严重。

数据量和模型大小哪个更重要?

通常数据质量与覆盖度更关键。数据存在系统性偏差或标签错误时,换更大的模型只会更高效地把错误学进去。

无监督学习能直接用来做业务决策吗?

不建议直接用来下结论。聚类结果需要人来解释,且「分几类」「类是否有意义」往往没有客观标准,通常作为探索和特征工程的中间步骤。

继续读下一课 神经网络是怎么「学」的:从神经元到梯度下降 神经网络听起来玄,拆开看只有三件事:一层层做加权求和、用非线性函数把结果掰弯、按误差的梯度往回改参数。把这个循环理解透,Transformer 也只是同一套骨架的变体。
Advertisement
底部广告位 728×90 / 移动端 320×100