模型推理 · Inference
使用训练好的模型处理输入、生成输出的计算过程。
详细说明
Inference 通常译为“推理”，这里使用“模型推理”来突出它是模型运行过程。它与 reasoning（逻辑推理或推理思考）不同：生成一句普通回复也属于模型推理，模型不必进行复杂推理思考。常规推理调用通常不会更新模型权重。
使用示例
向模型发送一段代码并获得解释，就是一次推理调用。
使用训练好的模型处理输入、生成输出的计算过程。
Inference 通常译为“推理”，这里使用“模型推理”来突出它是模型运行过程。它与 reasoning（逻辑推理或推理思考）不同：生成一句普通回复也属于模型推理，模型不必进行复杂推理思考。常规推理调用通常不会更新模型权重。
向模型发送一段代码并获得解释，就是一次推理调用。