Agent、工具调用与多模态:让模型真的能干活
模型只会输出文字。要让它查数据库、发邮件、改代码,必须给它手和眼睛——工具调用与多模态。Agent 则是把这些零件组装成一个能自己循环推进的系统。
Agent 的四件套
先说结论:Agent 不是一种新模型,而是一种系统结构。它通常由四部分组成:
- 模型:负责理解目标、做判断、决定下一步。
- 工具:搜索、读文件、查数据库、执行代码、发请求——真正改变外部世界的手。
- 记忆:短期是对话上下文,长期是外部存储(笔记、向量库、数据库)。
- 循环:观察 → 思考 → 行动 → 再观察,直到任务完成或触发停止条件。
所以同一个模型,套上不同工具和循环,能力就完全不同。这也是为什么「换个更强的模型」往往不如「把工具和流程设计好」有效。
工具调用是怎么发生的
模型不能直接执行函数,它只能输出文字。所谓 function calling,是把工具描述(名字、用途、参数结构)一起放进上下文,模型被训练成在需要时输出一段特定格式的结构化内容,比如「调用 search,参数是关键词 X」。
真正执行的是外部程序:它解析这段输出、校验参数、调用真实接口、把结果作为新的一条消息喂回模型。然后模型基于结果决定下一步。
一次 Agent 任务因此可能包含十几次这样的往返。延迟和成本主要花在这里,而不是模型「思考」本身。
ReAct 与 MCP:一个管流程,一个管接口
ReAct 是一种常见的循环范式:让模型交替输出「思考(Reasoning)」和「行动(Action)」,看到行动结果后再思考。它把「先想再做、边做边修正」写进了提示结构,比一次性给出长计划更抗错。
MCP(Model Context Protocol)解决的是另一个问题:工具接入太乱。过去每个应用都要自己适配搜索、数据库、文件系统,接口各写一套。MCP 用统一的协议描述「有哪些工具、参数是什么、怎么调用」,模型侧和工具侧只要各自实现一次,就能互相组合。
打个比方:ReAct 是工作方法,MCP 是插座标准。前者决定怎么干活,后者决定能不能即插即用。
多模态:把图像和声音也变成 token
多模态模型能同时处理文字、图片、音频、视频。做法并不神秘:把非文本模态也切成 token。
- 图像:切成小 patch,每个 patch 过一个视觉编码器变成向量,再通过一个投影层对齐到语言模型的向量空间,当成「视觉 token」混进序列。
- 音频:切成帧或离散编码,思路类似;语音识别本质是「音频 token → 文本 token」的翻译。
- 视频:按帧采样再逐帧处理,token 数量爆炸,所以视频理解通常受限于采样率和时长。
「对齐」是多模态的核心难点:要让「一张猫的图片」和「猫这个字」落在相近的语义位置,模型才可能建立起跨模态的联系。
多智能体:分工听起来很美
把任务拆给「研究员 Agent」「写作 Agent」「审校 Agent」,确实能突破单次上下文限制,也便于并行。但代价是:
- 成本与延迟成倍上升:每次交接都是一次完整推理。
- 错误会累积:上游判断错了,下游只会更自信地错下去。
- 协调本身很难:谁来决定任务完成、如何避免重复劳动、冲突怎么裁决,都需要额外设计。
实践中的经验是:能用确定性代码串起来的流程,就不要交给多个 Agent 自由协商。固定编排(workflow)通常比自由协作(autonomous agents)更可靠、更便宜。
判断一个 Agent 靠不靠谱,看这四点
- 工具边界清不清楚:每个工具职责单一、参数有校验、失败有明确报错。
- 能不能停下来:有没有最大步数、超时、预算上限,防止无限循环烧钱。
- 危险动作是否二次确认:删除、转账、发邮件、改生产数据,必须人工确认。
- 有没有可回放的记录:每一步的输入、工具调用、结果都要留痕,否则出了问题无法定位。
这几条值得记住
- Agent = 模型 + 工具 + 记忆 + 循环,不是一种新模型。
- 模型只提调用请求,真正执行和权限控制由外部程序负责。
- ReAct 管流程范式,MCP 管工具接口标准。
- 多模态靠把图像音频也 token 化并对齐到同一语义空间。
- 固定编排比自由协商更可靠,危险动作必须二次确认。
常见问题
Agent 和普通的 AI 对话有什么区别?
对话只输出文字,一次性完成;Agent 能调用工具改变外部状态,并通过多轮循环根据结果调整下一步,直到任务完成。
MCP 是必须的吗?
不是。它只是工具接入的一种统一协议,好处是复用生态、减少重复适配。只有一两个自建工具时,直接写 function calling 更简单。
多智能体一定比单 Agent 强吗?
不一定。多智能体会放大成本、延迟和错误累积。只有在任务可清晰拆分、子任务之间耦合低、且并行确实带来收益时,才值得引入。