Agent 工程实践 / 11 · 共 12 篇

Agent 工程实践 · 11

系统改进:从失败经验到验证发布

系统改进 / 提案、回归、发布与回滚

失败经验先形成隔离提案,再经目标任务和保留任务验证,才能决定是否发布。熟悉样例通过,还不足以证明更新可用。

经验要经过验证,才进入现行系统。发布需绑定版本,并保留监控、暂停和回滚路径。

查看交互演示 ↓

机制分析

一条过于严格的规则,也可能是坏提案

案例从一次假绿灯失败出发:执行方改写了测试,原验收规则只看通过数量与环境条件,不能可靠识别问题。新提案需要检查测试依据、任务归属、代码版本与报告完整性。失败原件先留档,现行规则暂时不动。

第一份提案额外要求“只接受第二版代码”。熟悉的目标样例都使用第二版,因此检查全过。保留组加入后续第三版的合法交付,这个规则却错误拒绝。它记住了具体版本号,未表达真正的约束:报告应属于当前代码,而不是只能属于某一个固定号码。

修订后,规则改查任务与证据是否一致,不再写死版本。提案一变,旧验证凭据清空,再运行两组检查,最后让新版与对应凭据一起发布。测试结果属于特定提案,不能拿旧提案的报告为新规则背书。

阶段允许改变什么
收集失败增加原始记录与问题线索,现行行为不变
提出候选修改隔离的待验证规则
运行目标与保留任务生成候选对应的检查结果,失败则拒绝发布
受控发布切换现行版本,同时保留上一稳定版
发现运行异常暂停自动交付,按原因决定回滚及后续恢复

保留组被用来修订后,还独立吗?

第一次检查时,第三版样例没有参与提案设计,可以暴露熟悉样例之外的问题。一旦看过结果并据此修改规则,这组样例就成为已知回归用例。再次通过能证明这些已知问题得到修复,不能继续作为未见任务上的独立泛化证据。

工程取舍

改哪里,比“让系统学习”更具体

知识、指令、程序,还是参数?

缺少资料,可以考虑更新知识;流程说明不足,可以修改指令或 Skill;有明确可执行约束,可以调整程序或 Harness。需要改变模型行为时,才进一步评估参数更新的数据与验证条件。这些载体不是可互换的按钮:补一条说明不等于模型保证遵从,保存一份知识也不等于已经训练权重。本页只有程序规则路线实际运行回归。

多快接受一次经验?

快速修复能降低已知失败的持续成本,却也可能把偶然特征固化成新约束。对可逆且影响有限的规则,可以小范围验证后逐步使用;影响广的更新需要更广的任务覆盖与观察。任何做法都应明确当前检查范围,不能把本例八个固定样例换成一个泛化能力分数。

异常时回滚,还是先恢复外部服务?

演示在发布后模拟证据服务超时。回滚恢复的是本地规则版本,不会修好外部依赖,所以自动交付仍保持暂停。真实系统应先辨认异常来源:若故障来自新逻辑,回滚可能直接有用;若来自外部服务,仍需恢复依赖并重新验收。不能把“版本已回退”当作“任务已恢复”。

落到实现

让提案、证据和生效版本相互对应

更新记录应能回答:依据哪次失败、改变哪个载体、运行哪些检查、谁批准生效、异常时退回哪里。提案隔离与验证凭据失效规则,可以由程序明确执行,减少未经验证的经验直接进入现行系统的机会。

本页只改变浏览器中的规则对象,没有模型采样、梯度更新或真实服务器发布。目标和回归判断来自固定标签;真实系统仍需新的独立评估与运行验证。示范与奖励也各有数据质量和目标偏差问题,不能由一次演示替代完整训练与发布过程。

经验的价值,需要通过可检查的更新体现出来。保留失败、隔离提案、验证回归和观察运行,才让下一版系统的改变有据可循。

交互演示 · 经验更新与回归发布台

观察过拟合提案如何被拒绝,以及发布后的异常处理
00:00 / 00:00
经验更新与回归发布台提案、验证与生效分别观察
现行回滚监测
旁白字幕

更新实验与版本记录

更新载体与待验证提案

切换载体会暂停旁白并重置实验。本页主动画实际验证程序规则;其余载体展示方法边界。

隔离的提案规则

对照:原规则在同一批目标任务上的判断
任务原规则判断约定预期

原规则只查报告绿灯与环境证据,无法可靠拒绝改写测试、旧报告和部分测试。

目标任务与保留任务分开验证

目标组:已知问题与正常交付

任务约定预期提案判断核对

保留组:首次未参与提案设计

任务约定预期提案判断核对

结果由页面实际运行候选规则得到;预期是固定教学标签。本页通过固定样例演示发布纪律;真实发布还需要新的独立评估与运行验证,不代表已获得统计泛化保证。

拒绝证据、现行版本与回滚

被拒提案及其证据

现行与回滚位

演示仅改变本地规则对象;不修改网站服务、真实模型或服务器配置。回滚后仍暂停自动交付,恢复外部服务后还需重新验收。

选读:何时考虑参数更新

先检查问题是否来自缺资料、缺流程说明或程序约束。需要改变模型行为时,可再评估示范数据与监督微调,或有可靠反馈的强化学习。

示范提供期望行为;奖励提供评价信号,可能被钻空子。两者都需要数据质量、独立评估和发布检查。本页没有采样、梯度更新,也不展示完整训练。

经验更新与回归发布台 · 本地规则实验 / 不运行模型训练 · 教学模拟,动作与状态由同一时间轴驱动。自动讲解使用默认条件;改变下方条件可独立实验。

登录后收藏评论 0

登录后发表评论

暂无评论。