保留您自己的训练器
自有训练器 RL 轨迹采样
您在自有的集群上运行 GRPO、PPO 或自定义策略更新；Grid 在按需报价的预留容量上提供多轮轨迹采样服务。
开展试点需准备的要素。
阅读 rollout 指南- 检查点与训练器
- 候选检查点、精度、框架、算法以及奖励函数或评估器。确认各项训练方法与权重刷新要求。
- 采样工作负载
- 上下文与输出长度、每个提示词的采样数、并发度以及有效样本目标量。
- 容量窗口
- 期望区域、启动时间、持续周期及检查点刷新模式。最终报价将确认资源配置与实际生效费率。
- 验收标准
- 对照您的基线，全面评估有效样本量、质量、检查点新鲜度、吞吐量及成本。
- 01您的检查点
- 02Grid 采样
- 03您的训练器
选择您的 RL 权责边界。
与 智能体 RL 进行对比联合轨迹与验证器闭环
定制范围 智能体 RL
Forward 与您的团队共同界定轨迹数据集、确定性验证器与训练闭环。采用邀请制规划范围，并按项目合作报价。
| 闭环阶段 | 自有训练器 RL 轨迹采样 | 定制范围 智能体 RL |
|---|---|---|
| 1. 环境与工具沙箱 | 客户： 在客户基础设施内部执行工具调用、代码沙箱或环境状态转换。 Forward： 在 Forward Grid 上提供高吞吐量的轨迹采样补全服务（支持每个提示词 `n` 个采样、对数概率 logprobs 及停止词 stop tokens）。 | 客户： 定义领域任务、目标工具模式（Schema）及安全边界。 Forward： 在启动实时采样前，对商定的环境和访问边界进行资质验证。 |
| 2. 轨迹生成与采样 | 客户： 从 VeRL / OpenRLHF / 自定义训练器派发采样批次并管理回合（Episode）循环。 Forward： 针对报价窗口验证采样吞吐量、检查点新鲜度与延迟指标。 | 客户： 提供具有明确训练权限的获批任务或执行追踪。 Forward： 跨工具调用、重试和分支探索编排并行的多轮轨迹。 |
| 3. 验证器、评分标准与奖励打分 | 客户： 在客户训练循环内部计算标量奖励、单元测试通过率或评判模型得分。 Forward： 可选通过 Grid 端点提供快速评判/奖励模型或 OpenDetector 检查服务。 | 客户： 批准业务验收标准与领域边缘案例规则。 Forward： 构建并运行确定性验证器、引用门禁及步骤级过程奖励测试套件。 |
| 4. 梯度更新与优化器步进 | 客户： 在客户训练器 GPU 上运行反向传播、KL 散度惩罚及优化器步进（GRPO / PPO / GSPO）。 Forward： 运行经资质验证的采样服务；客户训练器代码与优化器状态仍归客户所有。 | 客户： 审查学习曲线、留出基准测试增益及回归报告。 Forward： 在 Forward 基础设施上执行后训练优化循环与检查点筛选。 |
| 5. 权重同步与生产推理服务 | 客户： 在每个采样步推送更新后的 LoRA 适配器或检查点增量（Delta）。 Forward： 按照经验证的契约刷新采样工作节点。生产环境推理服务则作为独立的验收部署运行。 | 客户： 在预发布评估上签字批准，并晋级版本化的智能体策略。 Forward： 验证模型导出与推理服务热重载，随后严格在商定的发布范围内仅部署通过验收的检查点。 |
容量与采样详情
保留自有训练器
您的训练循环无需迁移。Grid 充当采样算力集群：提供兼容 OpenAI 的补全接口、面向多轮轨迹的粘性会话（Sticky Sessions），以及由我们与您共同规划容量的权重更新路径。
同一套推理技术栈
Rollout 运行在已为 Grid 提供生产服务的同一座算力工厂之上。您无需在生产环境旁额外部署第二套推理引擎，算力容量可在产品推理与 rollout 时间窗口之间灵活调配。
纯采样层，而非全闭环 智能体 RL
定制范围的 智能体 RL 合作会与您共同设计验证器环境并执行策略更新；而 RL rollouts 则是底层的采样基础设施，专为已拥有自有训练器且不希望迁移训练框架的团队打造。
按需报价容量
Rollout 运行在预留容量上，而非匿名的 Serverless 资源池。我们通常从概念验证（PoC）起步，随后规划区域容量规模。本服务不设公开费率卡。
常见问题
我可以保留自己的训练器吗？
可以，这正是本产品的核心定位。您只需将检查点上传至双方商定的对象存储，通过 Grid 进行采样，并按照我们与您共同设定的调度计划推送权重更新。
这与 智能体 RL 有何不同？
在 智能体 RL 试点（/training/agent-rl）中，Forward 会与您的团队共同设计轨迹 Schema、确定性验证器以及策略优化闭环。而当训练器完全归您所有时，RL rollouts 仅提供高并发采样与算力集群编排服务。
这是实时自助式服务吗？
不是。这属于预留容量服务，需通过商务洽谈开通。欢迎联系我们评估概念验证（PoC）的容量规模。