Conserve su entrenador
Rollouts de RL con entrenador propio
Usted ejecuta GRPO, PPO o actualizaciones de políticas personalizadas en su propio clúster. Grid sirve muestras de trayectorias multiturno en capacidad reservada cotizada.
/entrenamiento/rollouts-rl
Conserve su entrenador.
Escale los rollouts.
Ejecute el muestreo de rollouts en Grid mientras su equipo mantiene el control del entrenador y del algoritmo. Defina el alcance de un piloto y luego cotice la capacidad reservada.
Capacidad cotizada · Sin tarifa pública · Sin autoservicio
Qué aportar al piloto.
Leer la guía de rollouts- Checkpoint y entrenador
- Checkpoint candidato, precisión, framework, algoritmo y recompensa o evaluador. Confirme cada método y requisito de actualización.
- Carga de trabajo de muestreo
- Longitudes de contexto y salida, muestras por prompt, concurrencia y el objetivo de muestras útiles.
- Ventana de capacidad
- Región deseada, inicio, duración y patrón de actualización de checkpoints. La cotización confirma los recursos y las tarifas efectivas.
- Aceptación
- Compare las muestras útiles, la calidad, la frescura del checkpoint, el rendimiento (throughput) y el costo frente a su línea base.
- 01Su checkpoint
- 02Muestreo en Grid
- 03Su entrenador
Elija el límite de propiedad de su RL.
Comparar con RL de AgentesBucle conjunto de trayectorias y verificadores
RL de Agentes con alcance definido
Forward define el alcance del dataset de trayectorias, los verificadores deterministas y el bucle de entrenamiento junto con su equipo. Por invitación y cotizado por proyecto.
| Etapa del ciclo | Rollouts de RL con entrenador propio | RL de Agentes con alcance definido |
|---|---|---|
| 1. Entorno y Sandbox de Herramientas | Cliente: Ejecuta llamadas a herramientas, sandboxes de código o transiciones de estado del entorno dentro de la infraestructura del cliente. Forward: Sirve completaciones de rollout de alto rendimiento (`n` muestras por prompt, logprobs, tokens de parada) en Forward Grid. | Cliente: Define las tareas del dominio, los esquemas de herramientas objetivo y los límites de seguridad. Forward: Califica el entorno acordado y el límite de acceso antes del muestreo en vivo. |
| 2. Generación y Muestreo de Trayectorias | Cliente: Despacha lotes de rollouts desde VeRL / OpenRLHF / entrenador propio y gestiona los ciclos de episodios. Forward: Califica el rendimiento de muestreo, la frescura del checkpoint y la latencia para la ventana cotizada. | Cliente: Proporciona tareas o trazas aprobadas con derechos explícitos de entrenamiento. Forward: Orquesta trayectorias paralelas multiturno abarcando llamadas a herramientas, reintentos y exploraciones de ramas. |
| 3. Verificador, Rúbrica y Puntuación de Recompensas | Cliente: Calcula recompensas escalares, tasas de aprobación de pruebas unitarias o puntuaciones de jueces dentro del ciclo de entrenamiento del cliente. Forward: Opcionalmente sirve modelos rápidos de juez/recompensa o comprobaciones de OpenDetector mediante endpoints de Grid. | Cliente: Aprueba los criterios de aceptación de negocio y las reglas sobre casos límite del dominio. Forward: Construye y ejecuta verificadores deterministas, controles de citación y arneses de recompensa de proceso por paso. |
| 4. Actualización de Gradientes y Paso del Optimizador | Cliente: Ejecuta el paso hacia atrás (backward pass), la penalización KL y el paso del optimizador (GRPO / PPO / GSPO) en las GPUs de entrenamiento del cliente. Forward: Opera el servicio de muestreo calificado; el código del entrenador y el estado del optimizador siguen siendo propiedad del cliente. | Cliente: Revisa las curvas de aprendizaje, las mejoras en benchmarks reservados y los informes de regresión. Forward: Ejecuta el ciclo de optimización post-entrenamiento y la selección de checkpoints en la infraestructura de Forward. |
| 5. Sincronización de Pesos y Servicio en Producción | Cliente: Envía adaptadores LoRA actualizados o deltas de checkpoints en cada paso de rollout. Forward: Actualiza los workers de rollout bajo el contrato calificado. El servicio en producción constituye un despliegue aceptado por separado. | Cliente: Aprueba la evaluación en preproducción (staging) y promueve la política versionada del agente. Forward: Califica la exportación y la recarga en servicio, y luego despliega únicamente el checkpoint aceptado bajo el alcance de lanzamiento acordado. |
Detalles de capacidad y muestreo
Conserve el entrenador
Su bucle permanece donde está. Grid es la flota de muestreo: completaciones compatibles con OpenAI, sesiones persistentes (sticky sessions) para trayectorias multiturno y una ruta de actualización de pesos que dimensionamos con usted.
La misma pila de inferencia
Los rollouts se ejecutan en la fábrica que ya sirve a Grid. No necesita levantar un segundo motor junto a producción. La capacidad puede moverse entre la inferencia del producto y las ventanas de rollout.
Muestreador, no RL de Agentes de bucle completo
Los proyectos de RL de Agentes con alcance definido diseñan el entorno verificador y ejecutan actualizaciones de política junto con usted. Los rollouts de RL son la capa de muestreo subyacente para equipos que ya poseen su propio entrenador y no desean migrarlo.
Capacidad cotizada
Los rollouts se ejecutan en capacidad reservada, no en Serverless anónimo. Comenzamos con una prueba de concepto y luego dimensionamos las regiones. No existe una tabla de tarifas pública.
Preguntas
¿Puedo conservar mi propio entrenador?
Sí. Ese es el producto. Suba los checkpoints al almacenamiento de objetos que acordemos, realice el muestreo a través de Grid y envíe las actualizaciones de pesos según el cronograma que establezcamos juntos.
¿En qué se diferencia esto de RL de Agentes?
En un piloto de RL de Agentes (/training/agent-rl), Forward define el esquema de trayectorias, los verificadores deterministas y el bucle de optimización de políticas junto con su equipo. Los rollouts de RL proporcionan muestreo y orquestación de flota únicamente cuando el entrenador ya es suyo.
¿Está disponible en modalidad de autoservicio en vivo?
No. Es capacidad reservada, acordada mediante conversación. Hable con nosotros para dimensionar una prueba de concepto.