下一词元预测 · Next-token prediction

根据已有上下文预测后续词元，再逐步生成完整序列的机制。

详细说明

在常见的自回归生成中，语言模型反复预测并追加词元，形成文字、代码或结构化工具调用。预测的是词元而不是固定意义上的“下一个单词”，因为一个词可能被拆成多个词元。这个生成过程也不等于从数据库检索一条现成答案。

给定“function add(a, b)”，模型继续生成函数体。