词元 · Token

词元（Token）是模型对内容进行编码和处理的基本单位。

详细说明

一个词元可能对应一个词、词的一部分、一个或多个字符、标点或字节片段；多模态内容也有对应的编码方式。中文字符与词元不是固定的一一对应关系。准确数量要使用目标模型的分词器或服务提供的用量统计。

“智能体”在不同分词器中可能被拆成不同数量的词元。