方法 01 · 基于权重的强化学习 (GRPO / PPO)
多轮强化学习权重后训练 (VeRL)
适用于智能体必须在开源或专属检查点上学习多步工具调用序列、从测试失败中自动恢复以及生成紧凑轨迹的场景。
智能体学习 / 多步轨迹强化学习（Trajectory RL）
基于每一个经验证的成果持续提升准确率。
将经验证的任务成果、领域专家评审和校准后的智能体反馈转化为奖励信号。跨多步工具调用轨迹优化符合条件的智能体策略，在留出评估集上对候选模型进行基准测试，并仅晋级超越基线的检查点。
智能体学习可使用经准入的客户自有测试框架，而无需额外部署企业级智能体操作系统。具体环境、模型、数据权限及验收标准将单独进行资质验证。
凭邀请界定范围 · 定制环境与验证器契约 · 按合作项目报价
持续改进 / 受控学习
每一项获批结果都能指导下一轮改进。
打通从生产执行到可衡量策略增益的闭环。领域专家审批与确定性验证器对实时轨迹进行评分；独立的留出评估集则为每次发布严把门禁。
- 01
业务任务
明确定义的任务目标与验收标准。
- 02
受治理的执行
经授权的上下文、工具与操作限制。
- 03
经验证的反馈
业务成果、专家评审与校准后的智能体判断。
- 04
基于奖励的训练
经授权的信号更新符合条件的策略。
- 05
独立评估
留出集质量、策略合规性、延迟与完整成本评估。
- 06
批准发布
由明确的第一责任人或预先授权的策略对照留出基准测试管控晋级与回滚。
示例性基准测试与发布模拟 · 非公开发布的外部审计报告
深入了解 Forward 如何治理 智能体 RL 实验——从锁定的数据集划分、评判器校准（κ），到留出集任务性能提升、单位经济效益核算以及金丝雀发布门禁。下方数值均为示例性参考模拟，而非公开发布的外部审计报告；实际试点指标将在您锁定的留出基准集上确立。
实验清单、校准奖励、留出集评估与发布门禁
全面审阅沙盒环境、训练数据授权、评判器校准、单次合格结果完整成本，以及晋升或回滚决策。
任何模型权重或测试框架更新，若未能在锁定的留出测试集上击败基线，或未能通过安全性、延迟及子切片无退化门禁，均绝无可能进入生产环境。
示例性基准测试与发布模拟 · 非公开发布的外部审计报告用于环境合约与训练权利审阅的示例性实验清单。
实验清单与训练数据权利
多步代码库补丁与工具验证修复智能体（示例参考工作负载）
- 环境版本与密封容器摘要 (HERMETIC DIGEST)
- env://swe-enterprise-sandbox@v3.4.0（容器摘要 sha256:4d82a91f... · 说明性测试固件）
- 工具模拟、测试固件与网络隔离
- 确定性 Git 工作树（Worktree）、密封式 pytest/vitest 运行器、模拟 Issue 追踪器 API（零生产网络访问权限）
- 数据集划分（训练集 / 验证集 / 锁定留出测试集）
训练集 (Train)： 600 条轨迹（去标识化历史修复记录 · 示例性数据划分）
验证集 (Val)： 160 条轨迹（超参数调优与 KL 散度惩罚早停 · 示例性数据划分）
独立留出集： 400 个锁定基准测试任务（与训练/开发集提示词、代码库或 Issue ID 零重叠）
- 数据泄露核验与训练权利授权
[模拟 · OK 已验证] AST + 提示词 MinHash 去重校验通过（训练集/验证集/留出测试集之间污染率为 0.0%）
示例性租户授权 `CONSENT-TRN-2026-09 (simulated fixture)` · 90 天轨迹保留期 · 零跨租户权重共享
奖励函数构成与对照人类金标准标注的评判器校准
R_unit_and_integration_testsw = 0.55
[确定性验证器]
所有目标测试与回归测试均在密封容器内全部通过
R_policy_and_diff_hygienew = 0.25
[确定性静态门禁]
零密钥泄露、零触碰受禁文件、最小化 AST 变更影响半径
R_rubric_judge_calibrationw = 0.20
[经校准的 LLM 评判器（LLM-as-judge，已审计）]
根因解释与补丁可维护性评分；与 120 份资深人类工程师标注的一致性参考值 κ = 0.86；当 κ < 0.78 时触发漂移告警
四种适配调优方法（权重强化学习、监督微调 SFT、提示词/框架优化，或接入自有训练器）
选择最契合您的模型控制边界与当前运营阶段的适配调优方式
方法 02 · 监督微调 / 偏好调优 (SFT / PREFERENCE TUNING)
监督微调与轨迹蒸馏 (SFT & Trajectory Distillation)
适用于在进行在线 rollout 之前，利用已验收的前沿模型轨迹冷启动训练体积更小、延迟更低的模型的场景。
方法 03 · 提示词与测试框架优化 (PROMPT & HARNESS OPTIMIZATION)
非权重测试框架、评分量表与检索调优
适用于调用闭源前沿模型 API，或通过快速迭代策略/提示词即可解决失败模式而无需进行 GPU 权重训练的场景。
方法 04 · 面向客户自有训练器的 ROLLOUT 基础设施
面向客户自有 ML 技术栈的高吞吐沙盒 Rollout
适用于客户 ML 团队自主掌控优化器循环，仅使用 Forward 提供确定性运行环境与验证器评分服务的场景。
示例性基准测试与发布模拟 · 非公开发布的外部审计报告留出集评估协议（n=400 个独立任务 × 3 个随机种子 = 1,200 次模拟运行） —— 仅供说明性参考研究，不构成账单或承诺的 SLA。
独立锁定留出集基准测试对比与完整经济性核算
提示词基线 vs SFT 基线 vs RL 候选模型（附明确样本分母）
示例性模拟测试：n = 400 个留出任务 × 3 个评估种子（每个策略 1,200 次模拟运行 · 时间窗口：2026-10-01..2026-10-14 · 环境版本 v3.4.0）
每个策略均在 400 个锁定的留出 PR 任务 × 3 个评估随机种子上进行评估（每个策略共 1,200 次模拟运行）。任务通过数（246/400、272/400、310/400）以 400 个任务为分母统计多数种子通过的任务验收情况；± 区间表示跨 3 个种子的 95% 自助法（Bootstrap）置信区间。
经济性核算范围与假设：可变运行成本涵盖模型 Token、E2B 沙盒执行以及确定性验证器检查。阶段性训练投入涵盖 SFT 蒸馏（$420）和 VeRL rollout + 策略优化（$1,180；若包含 SFT 热启动则累计为 $1,600）的 GPU 算力成本。样本摊销成本将可变成本与阶段性训练成本之和除以 400 任务评估集中的合格任务数。生产摊销成本展示了在 10,000 次合格运行规模下的稳态单位经济效益（RL 相较于提示词基线的盈亏平衡点约为 2,186 次合格运行）。客户侧工程搭建、人工审核耗时及持续平台运维费用另行划定范围。
任务成功率（所有测试 + 策略门禁全部通过）
- 1. 提示词基线 (PROMPTED BASELINE)
- 61.5% (±1.8%) — 246 / 400 个任务
- 2. SFT / 测试框架基线 (SFT / HARNESS BASELINE)
- 68.0% (±1.6%) — 272 / 400 个任务
- 3. RL 候选模型 (CKPT_STEP_480)
- 77.5% (±1.4%) — 310 / 400 个任务（较提示词基线提升 +16.0 个百分点）
硬性策略 / 安全门禁违规率
- 1. 提示词基线 (PROMPTED BASELINE)
- 3.5%（14 / 400 个任务）
- 2. SFT / 测试框架基线 (SFT / HARNESS BASELINE)
- 2.0%（8 / 400 个任务）
- 3. RL 候选模型 (CKPT_STEP_480)
- 0.5%（2 / 400 个任务——均被运行时门禁成功拦截）
人工审批 / 介入率
- 1. 提示词基线 (PROMPTED BASELINE)
- 42.0% 的运行需要人工手动修改补丁
- 2. SFT / 测试框架基线 (SFT / HARNESS BASELINE)
- 31.5% 的运行需要人工手动修改补丁
- 3. RL 候选模型 (CKPT_STEP_480)
- 19.0% 的运行需要人工手动修改补丁
延迟（p50 / p95 端到端轨迹耗时）
- 1. 提示词基线 (PROMPTED BASELINE)
- p50: 38秒 · p95: 112秒（平均 9.4 轮工具调用）
- 2. SFT / 测试框架基线 (SFT / HARNESS BASELINE)
- p50: 31秒 · p95: 89秒（平均 7.8 轮工具调用）
- 3. RL 候选模型 (CKPT_STEP_480)
- p50: 24秒 · p95: 68秒（平均 5.6 轮工具调用）
单次合格任务可变运行成本（推理 + 沙盒 + 验证器，不含训练投入）
- 1. 提示词基线 (PROMPTED BASELINE)
- $1.48 / 合格任务（246 个合格任务累计可变支出 $364.08）
- 2. SFT / 测试框架基线 (SFT / HARNESS BASELINE)
- $1.21 / 合格任务（272 个合格任务累计可变支出 $329.12）
- 3. RL 候选模型 (CKPT_STEP_480)
- $0.94 / 合格任务（310 个合格任务累计可变支出 $291.40；可变成本较提示词基线降低 −36.5%）
一次性模型适配与 rollout 算力投入
- 1. 提示词基线 (PROMPTED BASELINE)
- $0.00（0 GPU 小时 · 未微调基础检查点）
- 2. SFT / 测试框架基线 (SFT / HARNESS BASELINE)
- $420.00（一次性 SFT 蒸馏算力成本）
- 3. RL 候选模型 (CKPT_STEP_480)
- $1,180.00 VeRL rollout + RL 算力成本（含 SFT 热启动累计为 $1,600.00）
400 任务评估集上的单次合格任务样本摊销成本（可变成本 + 训练投入）
- 1. 提示词基线 (PROMPTED BASELINE)
- $1.48 / 合格任务（总计 $364.08 / 246 个合格任务）
- 2. SFT / 测试框架基线 (SFT / HARNESS BASELINE)
- $2.75 / 合格任务（($329.12 + $420.00) / 272 个合格任务）
- 3. RL 候选模型 (CKPT_STEP_480)
- $4.75 / 合格任务（($291.40 + $1,180.00) / 310 个合格任务；含 SFT 热启动为 $6.10）
10,000 次合格运行规模下的示例性单次合格任务摊销成本（不含人工运维）
- 1. 提示词基线 (PROMPTED BASELINE)
- $1.48 / 合格任务（无训练投入需摊销）
- 2. SFT / 测试框架基线 (SFT / HARNESS BASELINE)
- $1.25 / 合格任务（$1.21 可变成本 + $0.04 SFT 算力摊销 / 次）
- 3. RL 候选模型 (CKPT_STEP_480)
- $1.06 / 合格任务（$0.94 可变成本 + $0.12 RL 算力摊销 / 次 · 约在 2,186 次合格运行时达到盈亏平衡）
[! 单位经济效益防护规则 · 零合格结果]
当评估窗口内的合格结果数为 0 时，单次合格结果成本严格报告为“不可计算”——绝不显示为 $0.00：
无法计算 — 窗口内 0 个已接受结果（绝不显示为 $0.00）示例性基准测试与发布模拟 · 非公开发布的外部审计报告下方的晋升、金丝雀与回滚状态完整展示了发布治理状态机的运转机制。
晋升、金丝雀测试、子切片退化拒绝与回滚状态
审阅每一个发布生命周期状态，以及防范子切片性能退化或奖励作弊的自动化防护门禁
[▤ 已评估] · RL-ST-02 · 已评估受治理的发布演进流程
- 状态摘要与支撑证据
- 3 随机种子留出集评估已完成：成功率 77.5%（较基线提升 +16.0 个百分点），p95 延迟 68 秒，$0.94 / 合格结果。
- 门禁标准 / 自动化防护规则
- 全部 4 个关键切片均无退化（>= 0）；评判器校准一致性 κ = 0.86（达到 >= 0.80 阈值）。
- 下一步操作或回滚血缘
- 下一步：提交评估卷宗，供流程负责人与 ML 主管验收。
将后训练方法与您的反馈信号相匹配。
01 / 学习方法
精选示范数据驱动 SFT。成对偏好数据驱动 DPO 和 ORPO。可执行环境与可验证结果驱动多步 智能体 RL。首先建立可衡量的基线，再针对您的工作负载组合使用不同方法。符合条件的 RL 项目无需预先进行 SFT 或 DPO。
基线基线先决条件
提示词、上下文、数据保险库与工具策略
结合上下文、检索、工具和审批策略建立可衡量的基线。将配置变更与任何符合条件的训练方法进行同步对比评估。
所需输入
20–50 个代表性测试用例 + 明确的验收评分标准。
输出产物
系统指令、检索分块策略、工具模式（Schema）、审批门禁及引用规则（模型权重保持不变）。
示范数据凭邀请 · 限定范围试点
监督微调（SFT / LoRA）
当精选示范数据（包括多轮对话和工具调用追踪）能够在符合条件的检查点上教会模型所需行为时使用。
所需输入
具备合法数据权限、覆盖代表性任务的精选示范数据，以及独立的评估数据集。
输出产物
对照获批的示范数据优化符合条件的适配器或检查点；可涵盖多步骤任务。
偏好设置凭邀请 · 限定范围方法
偏好优化（DPO / ORPO）
当经授权的采纳（Preferred）与拒绝（Rejected）响应或轨迹能够清晰表达期望行为时使用。
所需输入
具备合法数据权限的精选采纳与拒绝响应或轨迹对，以及留出评估数据集。
输出产物
基于获批的偏好数据对优化符合条件的适配器或检查点。
奖励信号协同工程 · 试点范围
基于多步轨迹的 智能体 RL
当可执行环境和可评分的任务成果支持对多步决策进行基于奖励的优化时使用。无需预先进行 SFT 或 DPO。
所需输入
可执行环境、符合条件的检查点、经授权的轨迹、结果检查机制、校准后的专家或智能体反馈，以及可衡量的基线。
输出产物
跨多轮工具调用、环境状态转换及最终任务验证的端到端策略优化。
环境、轨迹与奖励契约。
02 / 契约规范
在启动训练算力之前，智能体 RL 试点会明确界定四个具体接口：轨迹日志格式、确定性验证器套件、轨迹采样（Rollout）循环以及晋级门禁。
01运行记录 · 工具调用 · 终止状态
来自 智能体操作系统的轨迹模式（Schema）
从 Forward HIVE 或您自有的测试框架收集多轮执行追踪数据。每条轨迹均完整记录提示词上下文、中间工具调用、沙箱输出、审批检查点及最终交付成果。
02单元测试 · 引用检查 · 模式验证器
结果检查与校准后的智能体反馈
结合确定性结果验证器与专家评审，校准智能体评价与评分标准。衡量评估者间一致性，审计边缘案例，并防范奖励作弊。智能体对自身结果的评判不能作为独立的验收测试。
03限定范围的 智能体 RL 或自有训练器轨迹采样
轨迹采样与权重更新
与 Forward 一起运行完整的轨迹采样与策略优化闭环，或保留您自有的训练器（GRPO、PPO、REINFORCE），仅将 Grid 作为高并发轨迹采样集群使用。
04Grid 专用实例 · 私有部署 · 智能体操作系统
检查点验收与推理服务晋级
在晋级至生产推理服务之前，每个候选检查点都将在留出任务集上针对任务完成率、工具调用准确率、延迟以及单次验收运行成本进行基准测试。
智能体 RL 与自有训练器 RL 轨迹采样对比。
03 / 权责划分
选择由 Forward 与您的团队共同运营轨迹优化闭环，或由您的机器学习工程师保留自有训练器、仅将 Grid 用于高并发轨迹采样。
| 闭环阶段 | 智能体 RL（与 Forward 协同界定范围） | 自有训练器 RL 轨迹采样 |
|---|---|---|
| 1. 环境与工具沙箱 | 客户： 定义领域任务、目标工具模式（Schema）及安全边界。 Forward： 在启动实时采样前，对商定的环境和访问边界进行资质验证。 | 客户： 在客户基础设施内部执行工具调用、代码沙箱或环境状态转换。 Forward： 在 Forward Grid 上提供高吞吐量的轨迹采样补全服务（支持每个提示词 `n` 个采样、对数概率 logprobs 及停止词 stop tokens）。 |
| 2. 轨迹生成与采样 | 客户： 提供具有明确训练权限的获批任务或执行追踪。 Forward： 跨工具调用、重试和分支探索编排并行的多轮轨迹。 | 客户： 从 VeRL / OpenRLHF / 自定义训练器派发采样批次并管理回合（Episode）循环。 Forward： 针对报价窗口验证采样吞吐量、检查点新鲜度与延迟指标。 |
| 3. 验证器、评分标准与奖励打分 | 客户： 批准业务验收标准与领域边缘案例规则。 Forward： 构建并运行确定性验证器、引用门禁及步骤级过程奖励测试套件。 | 客户： 在客户训练循环内部计算标量奖励、单元测试通过率或评判模型得分。 Forward： 可选通过 Grid 端点提供快速评判/奖励模型或 OpenDetector 检查服务。 |
| 4. 梯度更新与优化器步进 | 客户： 审查学习曲线、留出基准测试增益及回归报告。 Forward： 在 Forward 基础设施上执行后训练优化循环与检查点筛选。 | 客户： 在客户训练器 GPU 上运行反向传播、KL 散度惩罚及优化器步进（GRPO / PPO / GSPO）。 Forward： 运行经资质验证的采样服务；客户训练器代码与优化器状态仍归客户所有。 |
| 5. 权重同步与生产推理服务 | 客户： 在预发布评估上签字批准，并晋级版本化的智能体策略。 Forward： 验证模型导出与推理服务热重载，随后严格在商定的发布范围内仅部署通过验收的检查点。 | 客户： 在每个采样步推送更新后的 LoRA 适配器或检查点增量（Delta）。 Forward： 按照经验证的契约刷新采样工作节点。生产环境推理服务则作为独立的验收部署运行。 |
常见问题
基于奖励的智能体学习会改变什么？
经资质验证的训练运行会根据工具和环境交互产生的奖励，更新符合条件的模型或智能体策略权重。仅靠执行日志、记忆库和提示词编辑不属于强化学习。检查点权限、模型许可证和训练接口必须允许权重更新；调用闭源模型 API 并不能获得其权重访问权限。
智能体能否在不改变自身权限的前提下自动改进？
经授权的反馈可以输入至周期性改进流水线。独立评估和商定的发布策略负责管控晋级与回滚。治理和访问控制策略完全独立于奖励优化之外。执行访问权限并不代表授予训练权限，且学习到的行为绝不能扩大智能体权限。
何时应使用 智能体 RL 而不是 SFT 或 DPO？
请根据反馈信号类型和任务特点进行选择。有示范数据时使用 SFT，有偏好对比数据时使用 DPO 或 ORPO，而在具备可评分结果的可执行环境中则使用 RL。SFT 同样可以教授多步工具使用。并不存在必须按 SFT 到 DPO 再到 RL 顺序执行的硬性要求；请基于强大的基线和留出验收标准对不同方法进行对比测试。
智能体 RL 目前是自助式预设功能吗？
不是。多步强化学习需要经过验证的环境和奖励契约。每个 智能体 RL 合作项目均凭邀请界定范围，并围绕您的检查点、环境框架及推理服务目标进行定制报价。
我们能否保留自有训练器，仅使用 Grid 进行轨迹采样？
可以。如果您的机器学习团队已在运行 GRPO、PPO 或自定义 RL 循环，可使用自有训练器 RL 轨迹采样服务（/training/rl-rollouts）来获取预留的高并发轨迹采样与权重同步能力。
提供多步骤工作流与可验证的业务成果。
与我们的应用强化学习团队共同界定轨迹数据集、奖励环境、候选检查点及生产推理服务目标。