首页/AI 常识/提示词、幻觉与 RAG
第 4 层 · 大模型 第 7 / 9 篇 约 9 分钟

提示词、幻觉与 RAG:怎么让模型说得对

提示词不是咒语,它只是在收窄模型的概率分布;幻觉不是模型撒谎,而是它在「预测下一个词」这个目标下的必然产物。把这两点想明白,很多玄学技巧就不需要了。

提示词由六块组成

一段好用的提示词,通常能拆成六块。不是每次都写全,但缺哪块就会在哪块出问题:

  • 角色:以什么身份回答。影响语气与用词,对准确性影响不大。
  • 任务:到底要做什么。动词要具体,避免「帮我看看」这种模糊指令。
  • 上下文:背景资料、约束条件、已知信息。
  • 约束:字数、格式、不能做什么、必须引用来源。
  • 示例:给一两个「输入 → 期望输出」的样例,对格式类任务提升最明显。
  • 输出格式:明确要 JSON、表格还是列表,字段名叫什么。

为什么这些有用?因为模型的本质是条件概率:提示词就是你给的条件。条件越具体,可能的输出空间越窄,命中你想要的概率越高。所谓「提示词工程」,做的是收窄分布,不是许愿。

温度与 top-p:控制「敢不敢冒险」

模型每一步输出的是整个词表上的概率分布,采样策略决定怎么从里面挑:

  • 温度 temperature:低温(0.1~0.3)让高概率的词更容易被选中,输出稳定、保守;高温(0.8 以上)让低概率词也有机会,输出多样但容易跑偏。
  • top-p:只在累计概率达到 p 的候选集合里采样,动态裁剪长尾。
  • top-k:固定只取概率最高的 k 个。

实用经验:抽取信息、写代码、做结构化输出用低温;头脑风暴、文案创意用高温。但要注意——温度调到 0 也不是完全确定,因为并行计算的浮点累加顺序、批处理组合都可能带来微小差异。

幻觉为什么是结构性的

幻觉指模型生成了看似合理但与事实不符的内容。它有三个层次的原因:

  1. 训练目标本身:模型被训练成「永远给出一个最像人写的下一个词」,而不是「先判断自己知不知道」。当知识缺失时,编一个流畅答案在目标函数下同样「正确」。
  2. 长尾知识覆盖不足:训练语料里出现得少的事实,模型只有模糊印象;越具体(人名、数字、法条、日期)越容易错。
  3. 上下文与指令冲突:你给的资料和模型记忆矛盾时,它可能「折中」出一个两边都不对的说法;指令要求它必须给出答案时,它也倾向于硬答。
一句话记住幻觉不是 bug,是「预测下一个词」这一目标在知识边界外的必然表现。能降低,不能归零。

降低幻觉的六种工程手段

  • 给资料(RAG):把权威文档检索出来放进上下文,让它「照着材料答」。
  • 要求引用:强制每个结论标注来源片段编号,便于核对。
  • 允许说不知道:明确写「资料中没有相关信息时,直接回答不知道」,这一条效果常被低估。
  • 结构化输出:要求 JSON 并对字段做校验,字段缺就重试或报错。
  • 拆成多步:先抽取事实、再推理、最后组织答案,比一步到位稳。
  • 结果核验:关键数字用代码或数据库复算,不信任模型心算。

RAG 的完整流程与三个常见失败点

RAG(检索增强生成)就五步:文档切片 → 向量化 → 存进向量库 → 按提问检索 top-k → 拼进提示词生成。

看起来简单,实际效果差往往栽在这三处:

  • 切片不当:切得太碎,一句话被拆成两半,检索到也没用;切得太大,噪声多又占窗口。合理做法是按语义段落切,并保留标题层级与少量重叠。
  • 只做向量检索:向量擅长语义相似,不擅长精确匹配。查订单号、条款编号、人名时,关键词检索或混合检索更靠谱,通常还要加一层重排。
  • 检索对了但没用上:拼进去十段资料,模型反而抓不住重点,或引用错片段。要给编号、要限定「只用以下资料回答」、要控制在三到五段。

RAG、微调、长上下文怎么选

方案适合解决成本主要短板
RAG知识频繁更新、需要溯源低到中,改一次库就生效依赖检索质量,答案受片段限制
微调固定风格、固定格式、固定领域话术中,需数据与训练资源知识更新要重训,容易遗忘旧能力
长上下文一次性分析一份长文档按 token 计费,长文很贵中段信息易被忽略,无法跨会话记忆

常见组合是:微调管「怎么说」,RAG 管「说什么」。两者不冲突,先做 RAG 通常性价比更高。

这几条值得记住

  • 提示词的本质是给条件、收窄概率分布,不是咒语。
  • 温度低更稳,温度高更多样;0 也不保证完全一致。
  • 幻觉源于训练目标与知识边界,只能降低不能消除。
  • RAG 管说什么,微调管怎么说;切片与混合检索决定 RAG 上限。

常见问题

提示词写得越长越好吗?

不是。过长会稀释关键指令,也增加成本。有效的是结构清晰、约束具体、示例贴切;把最重要的要求放在开头和结尾,并明确优先级。

RAG 能彻底消除幻觉吗?

不能。检索不到、检索错、检索到了但模型误读,都会产生幻觉。它降低的是「凭空编造」的比例,还需要引用校验和人工复核来兜底。

什么时候该微调而不是用提示词?

当风格、格式、术语必须高度稳定,且提示词反复调也压不住时;或者任务有固定输入输出结构、样本量大到提示词成本不划算时。单纯为了补知识,优先 RAG。

继续读下一课 Agent、工具调用与多模态:让模型真的能干活 模型只会输出文字。要让它查数据库、发邮件、改代码,必须给它手和眼睛——工具调用与多模态。Agent 则是把这些零件组装成一个能自己循环推进的系统。
Advertisement
底部广告位 728×90 / 移动端 320×100