输入词元 · Input tokens
本次请求中送入模型的词元,包括指令、资料、历史消息等。
详细说明
系统提示词、工具定义、会话历史、检索资料和工具返回结果都可能占用输入词元。多模态输入也可能按服务规则折算为词元或其他用量。不同服务对输入总量、缓存命中和缓存写入的统计口径可能不同,不能仅凭某个字段名推断总用量。
使用示例
将多个源文件附到请求中,会增加输入词元;其中一部分可能命中提示词缓存。
本次请求中送入模型的词元,包括指令、资料、历史消息等。
系统提示词、工具定义、会话历史、检索资料和工具返回结果都可能占用输入词元。多模态输入也可能按服务规则折算为词元或其他用量。不同服务对输入总量、缓存命中和缓存写入的统计口径可能不同,不能仅凭某个字段名推断总用量。
将多个源文件附到请求中,会增加输入词元;其中一部分可能命中提示词缓存。