前缀缓存 · Prefix cache

复用请求开头相同内容的计算结果的一种缓存机制。

详细说明

前缀缓存复用请求开头相同部分的处理结果，可能减少重复计算。稳定的指令与资料通常适合放在前面。它是缓存机制；“缓存命中词元”则是一次请求中复用该机制的输入词元用量。缓存不等于长期记忆，也不会扩大上下文窗口。

保持项目指令不变，只把本轮问题追加到末尾。