提示词、幻觉与 RAG:怎么让模型说得对
提示词不是咒语,它只是在收窄模型的概率分布;幻觉不是模型撒谎,而是它在「预测下一个词」这个目标下的必然产物。把这两点想明白,很多玄学技巧就不需要了。
提示词由六块组成
一段好用的提示词,通常能拆成六块。不是每次都写全,但缺哪块就会在哪块出问题:
- 角色:以什么身份回答。影响语气与用词,对准确性影响不大。
- 任务:到底要做什么。动词要具体,避免「帮我看看」这种模糊指令。
- 上下文:背景资料、约束条件、已知信息。
- 约束:字数、格式、不能做什么、必须引用来源。
- 示例:给一两个「输入 → 期望输出」的样例,对格式类任务提升最明显。
- 输出格式:明确要 JSON、表格还是列表,字段名叫什么。
为什么这些有用?因为模型的本质是条件概率:提示词就是你给的条件。条件越具体,可能的输出空间越窄,命中你想要的概率越高。所谓「提示词工程」,做的是收窄分布,不是许愿。
温度与 top-p:控制「敢不敢冒险」
模型每一步输出的是整个词表上的概率分布,采样策略决定怎么从里面挑:
- 温度 temperature:低温(0.1~0.3)让高概率的词更容易被选中,输出稳定、保守;高温(0.8 以上)让低概率词也有机会,输出多样但容易跑偏。
- top-p:只在累计概率达到 p 的候选集合里采样,动态裁剪长尾。
- top-k:固定只取概率最高的 k 个。
实用经验:抽取信息、写代码、做结构化输出用低温;头脑风暴、文案创意用高温。但要注意——温度调到 0 也不是完全确定,因为并行计算的浮点累加顺序、批处理组合都可能带来微小差异。
幻觉为什么是结构性的
幻觉指模型生成了看似合理但与事实不符的内容。它有三个层次的原因:
- 训练目标本身:模型被训练成「永远给出一个最像人写的下一个词」,而不是「先判断自己知不知道」。当知识缺失时,编一个流畅答案在目标函数下同样「正确」。
- 长尾知识覆盖不足:训练语料里出现得少的事实,模型只有模糊印象;越具体(人名、数字、法条、日期)越容易错。
- 上下文与指令冲突:你给的资料和模型记忆矛盾时,它可能「折中」出一个两边都不对的说法;指令要求它必须给出答案时,它也倾向于硬答。
一句话记住幻觉不是 bug,是「预测下一个词」这一目标在知识边界外的必然表现。能降低,不能归零。
降低幻觉的六种工程手段
- 给资料(RAG):把权威文档检索出来放进上下文,让它「照着材料答」。
- 要求引用:强制每个结论标注来源片段编号,便于核对。
- 允许说不知道:明确写「资料中没有相关信息时,直接回答不知道」,这一条效果常被低估。
- 结构化输出:要求 JSON 并对字段做校验,字段缺就重试或报错。
- 拆成多步:先抽取事实、再推理、最后组织答案,比一步到位稳。
- 结果核验:关键数字用代码或数据库复算,不信任模型心算。
RAG 的完整流程与三个常见失败点
RAG(检索增强生成)就五步:文档切片 → 向量化 → 存进向量库 → 按提问检索 top-k → 拼进提示词生成。
看起来简单,实际效果差往往栽在这三处:
- 切片不当:切得太碎,一句话被拆成两半,检索到也没用;切得太大,噪声多又占窗口。合理做法是按语义段落切,并保留标题层级与少量重叠。
- 只做向量检索:向量擅长语义相似,不擅长精确匹配。查订单号、条款编号、人名时,关键词检索或混合检索更靠谱,通常还要加一层重排。
- 检索对了但没用上:拼进去十段资料,模型反而抓不住重点,或引用错片段。要给编号、要限定「只用以下资料回答」、要控制在三到五段。
RAG、微调、长上下文怎么选
| 方案 | 适合解决 | 成本 | 主要短板 |
|---|---|---|---|
| RAG | 知识频繁更新、需要溯源 | 低到中,改一次库就生效 | 依赖检索质量,答案受片段限制 |
| 微调 | 固定风格、固定格式、固定领域话术 | 中,需数据与训练资源 | 知识更新要重训,容易遗忘旧能力 |
| 长上下文 | 一次性分析一份长文档 | 按 token 计费,长文很贵 | 中段信息易被忽略,无法跨会话记忆 |
常见组合是:微调管「怎么说」,RAG 管「说什么」。两者不冲突,先做 RAG 通常性价比更高。
这几条值得记住
- 提示词的本质是给条件、收窄概率分布,不是咒语。
- 温度低更稳,温度高更多样;0 也不保证完全一致。
- 幻觉源于训练目标与知识边界,只能降低不能消除。
- RAG 管说什么,微调管怎么说;切片与混合检索决定 RAG 上限。
常见问题
提示词写得越长越好吗?
不是。过长会稀释关键指令,也增加成本。有效的是结构清晰、约束具体、示例贴切;把最重要的要求放在开头和结尾,并明确优先级。
RAG 能彻底消除幻觉吗?
不能。检索不到、检索错、检索到了但模型误读,都会产生幻觉。它降低的是「凭空编造」的比例,还需要引用校验和人工复核来兜底。
什么时候该微调而不是用提示词?
当风格、格式、术语必须高度稳定,且提示词反复调也压不住时;或者任务有固定输入输出结构、样本量大到提示词成本不划算时。单纯为了补知识,优先 RAG。
Advertisement
底部广告位 728×90 / 移动端 320×100