AI 基础概念：从 Token、LLM 到 Agent

理解 AI 应用，可以从三个问题开始：模型处理什么信息？谁决定和执行下一步？知识与运行状态保存在哪里？这些词不在同一层级：有的是模型或信息单位，有的是任务组织方式，还有机制、协议和训练方法。下面按它们回答的问题分组，每一节仍只讲一个概念。

一 · 模型与输入基础

谁生成内容，信息以什么单位处理？LLM 是模型，Token 是信息单位。

01 · Token：模型处理文本的单位

Token 是文本经过分词器切分后的单位。它可以是一个词、词的一部分、标点，也可能只对应部分字符。分词器把这些单位映射成编号，模型处理这些编号对应的表示；输出编号再被解码为文本。

例如“杭州现在下雨吗？”需要先编码才能进入模型。不能简单认为一个汉字就是一个 token，同一句话在不同分词器下的数量也可能不同。

输入 token 包括本次提交的规则、问题、历史和工具结果等；输出 token 是生成内容。数量会影响上下文容量、计算开销和按量计费，精确数值应使用对应分词器或接口用量。

容易混淆：上下文窗口不是永久记忆。它约束本次调用能处理多少信息，具体输入、输出预算还取决于模型。

02 · LLM：根据上下文生成内容的模型

LLM 是大语言模型。可以把文本生成理解为：读取当前上下文，预测下一个 token，并逐步生成后续内容。它可以输出自然语言，也可以按约定生成结构化的工具调用请求。

在天气任务中，模型可能输出“查询杭州天气”的请求。此时只是生成了请求，天气服务还没有被调用；需要外部程序真正执行。

容易混淆：回答流畅不代表事实可靠。模型也不会因为说“已经发送邮件”就真的完成发送，必须核对执行记录与结果。

二 · 任务组织方式

谁决定下一步？Agent 与 Workflow 在执行路径的决定方式上可以对照，实际系统也可以把两者结合。

03 · Agent：用反馈继续决定行动的系统

Agent 围绕目标运行：模型决定下一步，程序执行动作，把结果放回上下文，再调用模型。决定可以是继续使用工具，也可以是给出最终答复；系统还需要终止和预算约束。

例如查询成功返回“下雨”，模型可以建议带伞；返回“服务超时”，模型可能改为请求备用工具。关键是新结果进入下一轮输入，影响了下一步选择。

容易混淆：给聊天机器人增加角色提示词，并不自动构成具备行动与反馈闭环的 Agent。

04 · Workflow：由程序预先约束执行路径

Workflow 是预先设计的处理流程，可以有条件分支、重试和人工审核。它并不要求每一步都固定输出，也可以在其中调用 LLM。

容易混淆：Workflow 与 Agent 并不互斥。一个固定工作流可以包含局部 Agent 循环；区分时看路径由谁决定，而不是有没有使用大模型。

同一个“主天气服务超时”的结果，可以走两种路径：

• Workflow：代码中的超时条件命中，进入预先定义的备用查询分支。

• Agent：超时反馈进入模型输入，模型在可用工具和规则约束下选择下一步；可能查备用服务，也可能解释失败。

还要看模型被允许决定什么：如果模型只把结果分类成“成功 / 失败”，程序再按预设分支走，这仍可以是 Workflow。这里的 Agent 指模型根据当前反馈，在任务约束下选择后续动作及其组合；它也不是不受程序和权限约束的自由执行。

三 · 运行支撑

谁把输入、请求和反馈接起来？这一组关注模型之外的软件运行职责。

05 · Harness：让模型请求实际运行的软件支架

Harness 是围绕模型的运行程序，通常负责组织输入、校验工具请求、执行工具、追加结果、维护状态以及再次调用模型。权限、恢复和评估也可能由它承担，具体边界因系统而异。

在天气任务中，模型提出查询请求；Harness 检查参数并调用服务，然后把工具结果与原任务、规则、历史一起装成下一轮完整输入。

容易混淆：Harness 按模型请求和程序规则执行，并不等于另一个负责思考的模型。只改提示词，不能替代权限校验、工具执行和错误处理。

四 · 信息与方法供给

证据、历史经验和任务方法从哪里来？RAG、Memory 和 Skill 各有用途，并不是三种可以直接互换的组件。

06 · RAG：先找证据，再让模型回答

RAG 是检索增强生成。系统先围绕问题找相关资料，再把资料与问题一起提供给模型，帮助它生成有依据的回答。

例如问“公司出差能报销雨伞吗？”，系统先检索报销制度，把相关条款放入输入，而不是要求模型凭记忆猜公司的规定。

容易混淆：RAG 不一定需要向量数据库，关键词检索也可以参与。检索到内容不代表内容准确或仍然有效，还要检查来源、时间及引用是否支持结论。

07 · Memory：保存之后，还要能在需要时取回

Memory 在这里指跨时间保存并按需调用的偏好、经验或任务信息。一个完整过程通常包含选择要保存的内容、持久存储、检索相关信息、加入当前输入。

例如用户说“我骑车通勤”，系统经过适当确认保存这个偏好；下次给出雨天出行建议时取回，模型才有机会结合它回答。

容易混淆：日志存下来了，不等于模型已经记住了。没有进入本轮输入的信息通常不能直接参与本轮生成；记忆还需要更新、删除和隐私边界。

08 · Skill：按需加载的任务方法

这里的 Skill 指一组可复用的任务说明，可能包含步骤、规则、示例和脚本。应用在合适的任务中加载它们，让模型按某种方法完成工作。

例如“制作技术流程图”的 Skill 可以规定如何选图、编写结构、校验连线和导出结果。模型读取这些材料，执行程序负责运行相关工具。

容易混淆：加载 Skill 通常不改变模型参数。它也不会自动赋予工具权限；不同产品对 Skill 的定义和装载方式可能不同。

五 · 外部连接

应用与外部能力按什么约定通信？这是协议层的问题。

09 · MCP：应用连接外部能力的协议

MCP 是 Model Context Protocol。它让 AI 应用中的客户端与提供外部能力的服务器，按共同协议发现和使用工具、资源等内容。

例如天气服务通过 MCP 暴露查询工具：应用发现工具定义，模型产生调用请求，应用按协议发送请求，服务器执行并返回结果。

容易混淆：MCP 负责连接约定，不决定何时该用工具，也不会替代用户授权、业务权限和参数检查。接通了服务，不代表所有操作都允许执行。

六 · 状态恢复

运行中断后如何继续？这里关注保存什么状态，以及恢复的边界。

10 · Checkpoint：保存运行进度以便恢复

Checkpoint 是某一时刻运行状态的快照。框架可以保存消息、步骤进度或任务状态，在中断后读取快照继续执行；保存范围取决于实现。

例如天气查询结果已经收到，但生成答复前程序重启。若结果与进度被持久化，恢复时可以继续处理已知结果，减少重复工作。

容易混淆：恢复状态不是撤销外部动作。如果邮件已经发出，回到之前的快照不会收回邮件，也可能导致重发；需要幂等标识或执行记录防止重复副作用。

七 · 模型训练

怎样通过训练改变参数？这与运行时给模型增加输入材料是不同维度。

11 · Fine-tuning：通过训练改变模型参数

Fine-tuning 是在已有模型基础上继续训练，利用数据调整模型参数。它可以用于适应特定任务、输出格式或行为模式，效果仍需独立评估。

例如准备高质量的客服问答样本进行训练，再用未参与训练的问题评估模型是否更符合要求。

容易混淆：把文档放进上下文、检索知识库、加载 Skill，都不是微调。它们改变本次可见的材料；微调通过训练改变参数，也不适合替代实时事实查询。

把概念放回同一个任务

先沿上方主线从左向右阅读，再沿“进入下一轮输入”返回。下方能力按需参与，不是每次任务必经的步骤。

运行主线：从提问到答复

用户问“杭州现在要不要带伞？”后，Harness 组织完整输入，文本编码为 token 供 LLM 读取。模型提出查询请求，Harness 校验并执行，天气服务返回数据或错误。

Harness 将结果追加进历史，装配下一轮输入，再调用模型。模型可以继续请求工具，也可以生成最终答复，由 Harness 交付给用户。

来源与进一步阅读

术语在不同产品中可能有不同边界，尤其是 Harness、Skill 和 Memory。本文采用面向应用开发的解释。

OpenAI：模型与 Token。

https://developers.openai.com/api/docs/concepts

Anthropic：Workflow 与 Agent 的区别。

https://www.anthropic.com/engineering/building-effective-agents

MCP：工具与资源等服务端能力。

https://modelcontextprotocol.io/specification/draft/server/index