首页/AI 常识/Agent、工具调用与多模态
第 5 层 · 应用与前沿 第 8 / 9 篇 约 9 分钟

Agent、工具调用与多模态:让模型真的能干活

模型只会输出文字。要让它查数据库、发邮件、改代码,必须给它手和眼睛——工具调用与多模态。Agent 则是把这些零件组装成一个能自己循环推进的系统。

Agent 的四件套

先说结论:Agent 不是一种新模型,而是一种系统结构。它通常由四部分组成:

  • 模型:负责理解目标、做判断、决定下一步。
  • 工具:搜索、读文件、查数据库、执行代码、发请求——真正改变外部世界的手。
  • 记忆:短期是对话上下文,长期是外部存储(笔记、向量库、数据库)。
  • 循环:观察 → 思考 → 行动 → 再观察,直到任务完成或触发停止条件。

所以同一个模型,套上不同工具和循环,能力就完全不同。这也是为什么「换个更强的模型」往往不如「把工具和流程设计好」有效。

工具调用是怎么发生的

模型不能直接执行函数,它只能输出文字。所谓 function calling,是把工具描述(名字、用途、参数结构)一起放进上下文,模型被训练成在需要时输出一段特定格式的结构化内容,比如「调用 search,参数是关键词 X」。

真正执行的是外部程序:它解析这段输出、校验参数、调用真实接口、把结果作为新的一条消息喂回模型。然后模型基于结果决定下一步。

一次 Agent 任务因此可能包含十几次这样的往返。延迟和成本主要花在这里,而不是模型「思考」本身。

关键点模型不执行任何操作,它只提请求。所有权限控制、参数校验、危险操作拦截,都必须由你的程序来做——这是 Agent 安全的第一道也是最后一道防线。

ReAct 与 MCP:一个管流程,一个管接口

ReAct 是一种常见的循环范式:让模型交替输出「思考(Reasoning)」和「行动(Action)」,看到行动结果后再思考。它把「先想再做、边做边修正」写进了提示结构,比一次性给出长计划更抗错。

MCP(Model Context Protocol)解决的是另一个问题:工具接入太乱。过去每个应用都要自己适配搜索、数据库、文件系统,接口各写一套。MCP 用统一的协议描述「有哪些工具、参数是什么、怎么调用」,模型侧和工具侧只要各自实现一次,就能互相组合。

打个比方:ReAct 是工作方法,MCP 是插座标准。前者决定怎么干活,后者决定能不能即插即用。

多模态:把图像和声音也变成 token

多模态模型能同时处理文字、图片、音频、视频。做法并不神秘:把非文本模态也切成 token。

  • 图像:切成小 patch,每个 patch 过一个视觉编码器变成向量,再通过一个投影层对齐到语言模型的向量空间,当成「视觉 token」混进序列。
  • 音频:切成帧或离散编码,思路类似;语音识别本质是「音频 token → 文本 token」的翻译。
  • 视频:按帧采样再逐帧处理,token 数量爆炸,所以视频理解通常受限于采样率和时长。

「对齐」是多模态的核心难点:要让「一张猫的图片」和「猫这个字」落在相近的语义位置,模型才可能建立起跨模态的联系。

多智能体:分工听起来很美

把任务拆给「研究员 Agent」「写作 Agent」「审校 Agent」,确实能突破单次上下文限制,也便于并行。但代价是:

  • 成本与延迟成倍上升:每次交接都是一次完整推理。
  • 错误会累积:上游判断错了,下游只会更自信地错下去。
  • 协调本身很难:谁来决定任务完成、如何避免重复劳动、冲突怎么裁决,都需要额外设计。

实践中的经验是:能用确定性代码串起来的流程,就不要交给多个 Agent 自由协商。固定编排(workflow)通常比自由协作(autonomous agents)更可靠、更便宜。

判断一个 Agent 靠不靠谱,看这四点

  1. 工具边界清不清楚:每个工具职责单一、参数有校验、失败有明确报错。
  2. 能不能停下来:有没有最大步数、超时、预算上限,防止无限循环烧钱。
  3. 危险动作是否二次确认:删除、转账、发邮件、改生产数据,必须人工确认。
  4. 有没有可回放的记录:每一步的输入、工具调用、结果都要留痕,否则出了问题无法定位。

这几条值得记住

  • Agent = 模型 + 工具 + 记忆 + 循环,不是一种新模型。
  • 模型只提调用请求,真正执行和权限控制由外部程序负责。
  • ReAct 管流程范式,MCP 管工具接口标准。
  • 多模态靠把图像音频也 token 化并对齐到同一语义空间。
  • 固定编排比自由协商更可靠,危险动作必须二次确认。

常见问题

Agent 和普通的 AI 对话有什么区别?

对话只输出文字,一次性完成;Agent 能调用工具改变外部状态,并通过多轮循环根据结果调整下一步,直到任务完成。

MCP 是必须的吗?

不是。它只是工具接入的一种统一协议,好处是复用生态、减少重复适配。只有一两个自建工具时,直接写 function calling 更简单。

多智能体一定比单 Agent 强吗?

不一定。多智能体会放大成本、延迟和错误累积。只有在任务可清晰拆分、子任务之间耦合低、且并行确实带来收益时,才值得引入。

继续读下一课 AI 术语速查表:60 个概念的一句话解释 按学习顺序排列的 60 个概念,每条一句话。读不懂某篇时回来查一下,比从头再读一遍快。
Advertisement
底部广告位 728×90 / 移动端 320×100