Aprendizaje de Agentes / RL de Trayectorias de Múltiples Pasos
Transforme resultados de tareas verificados, revisiones de expertos de dominio y retroalimentación calibrada de agentes en señales de recompensa. Optimice las políticas elegibles de los agentes a lo largo de trayectorias de herramientas de múltiples pasos, evalúe candidatos frente a conjuntos de prueba reservados y promueva únicamente los checkpoints que superen su línea base.
Aprendizaje de Agentes puede utilizar un arnés del cliente admitido sin necesidad de un despliegue empresarial del Sistema Operativo Agéntico. El entorno, el modelo, los derechos de datos y la aceptación se califican por separado.
Alcance definido por invitación · Contrato de entorno y verificador a medida · Cotizado por proyecto
Mejora continua / Aprendizaje controlado
Cierre el ciclo desde la ejecución en producción hasta mejoras medibles en las políticas. Las aprobaciones de expertos de dominio y los verificadores deterministas puntúan las trayectorias reales; las evaluaciones independientes con datos reservados controlan cada lanzamiento.
Un trabajo definido y criterios de aceptación claros.
Contexto autorizado, herramientas y límites de acción.
Resultados, revisión de expertos y juicios calibrados del agente.
Las señales autorizadas actualizan una política elegible.
Calidad en datos reservados, cumplimiento de políticas, latencia y costo total.
Un responsable designado o una política preautorizada rige la promoción y la reversión frente a benchmarks reservados.
Ciclo de aprendizaje ilustrativo. El permiso de ejecución no otorga permiso de entrenamiento. El entrenamiento modifica los pesos elegibles del modelo o de la política; los cambios en prompts y herramientas siguen su propia vía de evaluación. El aprendizaje no puede ampliar los permisos del agente. El despliegue, el entrenamiento y los controles de lanzamiento se acuerdan para cada proyecto.
SIMULACIÓN ILUSTRATIVA DE BENCHMARK Y LANZAMIENTO · NO ES UNA AUDITORÍA EXTERNA PUBLICADA
Inspeccione cómo Forward gobierna los experimentos de RL de Agentes, desde particiones de datasets bloqueadas y calibración del juez (κ) hasta deltas en tareas de reserva, economía unitaria y compuertas de lanzamiento canario. Los valores a continuación son simulaciones de referencia ilustrativas y no una auditoría externa publicada; las métricas reales del piloto se establecen sobre su propio benchmark de reserva bloqueado.
MANIFIESTO DE EXPERIMENTO, RECOMPENSA CALIBRADA, EVALUACIÓN DE RESERVA Y COMPUERTA DE LANZAMIENTO
Ninguna actualización de pesos o de arnés llega a producción sin superar a la línea base en la partición de reserva bloqueada y pasar las compuertas de seguridad, latencia y no regresión por segmento.
MANIFIESTO DE EXPERIMENTO Y DERECHOS DE ENTRENAMIENTO
Entrenamiento: 600 trayectorias (reparaciones históricas anonimizadas · partición ilustrativa)
Val.: 160 trayectorias (parada por hiperparámetros y penalización KL · partición ilustrativa)
Conjunto reservado: 400 tareas de referencia bloqueadas (cero superposición con prompts, repositorios o IDs de incidencias de entrenamiento/validación)
[SIMULADO · OK VERIFICADO] Deduplicación AST + MinHash de prompts superada (0.0% de contaminación entre entrenamiento/validación/reserva)
Autorización de inquilino ilustrativa `CONSENT-TRN-2026-09 (simulated fixture)` · Retención de trayectorias de 90 días · Cero intercambio de pesos entre inquilinos
COMPOSICIÓN DE LA RECOMPENSA Y CALIBRACIÓN DEL JUEZ FRENTE A ETIQUETAS HUMANAS DE REFERENCIA
[Verificador determinista]
Todas las pruebas objetivo + de regresión pasan dentro del contenedor hermético
[Compuerta estática determinista]
Cero filtraciones de secretos, cero archivos prohibidos modificados, radio mínimo de diff AST
[LLM como juez calibrado (auditado)]
Explicación de causa raíz y mantenibilidad del parche; concordancia ilustrativa κ = 0.86 frente a 120 etiquetas humanas de ingenieros sénior; alerta de deriva en κ < 0.78
CUATRO MÉTODOS DE ADAPTACIÓN (RL DE PESOS, SFT, PROMPT/ARNÉS O SU PROPIO ENTRENADOR)
MÉTODO 01 · RL BASADO EN PESOS (GRPO / PPO)
Cuando el agente debe aprender secuenciación de herramientas de múltiples pasos, recuperación ante fallos de pruebas y trayectorias compactas en un checkpoint abierto o dedicado.
MÉTODO 02 · SFT / AJUSTE DE PREFERENCIAS
Al inicializar un modelo más pequeño y de menor latencia a partir de trayectorias aceptadas de modelos frontera antes de los rollouts en línea.
MÉTODO 03 · OPTIMIZACIÓN DE PROMPTS Y ARNÉS
Al operar sobre APIs de modelos frontera cerrados o cuando la iteración rápida de políticas/prompts resuelve el modo de fallo sin entrenamiento de pesos en GPU.
MÉTODO 04 · INFRAESTRUCTURA DE ROLLOUT PARA ENTRENADORES DEL CLIENTE
Cuando el equipo de ML del cliente es propietario del bucle optimizador y consume Forward únicamente para entornos deterministas y puntuación de verificadores.
COMPARACIÓN INDEPENDIENTE EN BENCHMARK DE RESERVA BLOQUEADO Y ECONOMÍA COMPLETA
Simulación ilustrativa: n = 400 tareas de reserva × 3 semillas de evaluación (1,200 ejecuciones simuladas por política · Ventana: 2026-10-01..2026-10-14 · Entorno v3.4.0)
Cada política se evalúa en 400 tareas de PR de reserva bloqueadas × 3 semillas de evaluación (1,200 ejecuciones simuladas por política). Los conteos de aprobación de tareas (246/400, 272/400, 310/400) informan la aceptación por mayoría de semillas sobre el denominador de 400 tareas; los intervalos ± muestran el intervalo de confianza bootstrap del 95% en las 3 semillas.
Alcance económico y supuestos: El costo variable de ejecución cubre tokens del modelo, ejecución en sandbox E2B y comprobaciones de verificadores deterministas. La inversión de entrenamiento por etapa cubre el cómputo de GPU para destilación SFT ($420) y rollouts + optimización VeRL ($1,180; $1,600 acumulados si se incluye el arranque en caliente SFT). El costo cargado a la muestra divide el costo variable + de entrenamiento de la etapa entre las tareas aceptadas en el conjunto de evaluación de 400 tareas. El costo de producción amortizado ilustra la economía en estado estacionario a lo largo de 10,000 ejecuciones aceptadas (punto de equilibrio de RL frente a la línea base por prompt en ~2,186 ejecuciones aceptadas). La configuración de ingeniería del cliente, el tiempo de los revisores humanos y las operaciones continuas de la plataforma se definen por separado.
[! PROTECCIÓN DE ECONOMÍA UNITARIA · CERO RESULTADOS ACEPTADOS]
Cuando una ventana de evaluación tiene 0 resultados aceptados, el costo por resultado aceptado se reporta estrictamente como no calculable, nunca como $0.00:
No calculable — 0 resultados aceptados en la ventana (nunca se muestra como US$ 0,00)ESTADOS DE PROMOCIÓN, CANARY, RECHAZO POR REGRESIÓN DE SEGMENTO Y REVERSIÓN
01 / Métodos de aprendizaje
Las demostraciones curadas impulsan SFT. Las preferencias por pares impulsan DPO y ORPO. Los entornos ejecutables y los resultados verificables impulsan RL de Agentes de múltiples pasos. Establezca primero una línea base medida y luego combine métodos según su carga de trabajo. No se requiere SFT ni DPO previo para un proyecto de RL elegible.
Establezca una línea base medida con contexto, recuperación, herramientas y políticas de aprobación. Evalúe los cambios de configuración junto con cualquier método de entrenamiento elegible.
Entradas requeridas
Entre 20 y 50 casos de prueba representativos + rúbrica de aceptación explícita.
Artefacto de salida
Instrucciones del sistema, segmentación de recuperación (chunking), esquemas de herramientas, controles de aprobación y reglas de citación (sin modificar los pesos).
Utilícelo cuando las demostraciones curadas, incluidas conversaciones multiturno y trazas de herramientas, puedan enseñar el comportamiento requerido en un checkpoint elegible.
Entradas requeridas
Demostraciones curadas con derechos de datos, cobertura representativa de tareas y un conjunto de evaluación independiente.
Artefacto de salida
Un adaptador o checkpoint elegible se optimiza a partir de demostraciones aprobadas, las cuales pueden abarcar tareas de múltiples pasos.
Utilícelo cuando pares autorizados de respuestas o trayectorias preferidas y rechazadas expresen el comportamiento deseado.
Entradas requeridas
Respuestas o trayectorias preferidas y rechazadas curadas, con derechos de datos y un conjunto de evaluación reservado.
Artefacto de salida
Un adaptador o checkpoint elegible se optimiza a partir de los pares de preferencias aprobados.
Utilícelo cuando un entorno ejecutable y resultados de tareas puntuables respalden la optimización basada en recompensas de decisiones de múltiples pasos. No se requiere SFT ni DPO previo.
Entradas requeridas
Entornos ejecutables, checkpoints elegibles, trayectorias autorizadas, verificaciones de resultados y retroalimentación calibrada de expertos o agentes, además de una línea base medida.
Artefacto de salida
Optimización integral de políticas a través de llamadas a herramientas multiturno, transiciones de estado del entorno y verificación final de tareas.
02 / Contratos
Un piloto de RL de Agentes define cuatro interfaces concretas antes de iniciar el cómputo de entrenamiento: el formato del registro de trayectorias, el conjunto de verificadores deterministas, el ciclo de muestreo (rollout) y el control de promoción.
Recopile trazas de ejecución multiturno desde Forward HIVE o desde su propio arnés. Cada trayectoria captura el contexto del prompt, las invocaciones intermedias de herramientas, las salidas del sandbox, los puntos de control de aprobación y los entregables finales.
Combine verificadores deterministas de resultados y revisiones de expertos para calibrar las críticas del agente y las puntuaciones de rúbrica. Mida la concordancia entre evaluadores, audite casos límite y prevenga la manipulación de recompensas. Un agente que juzga su propio resultado no constituye una prueba de aceptación independiente.
Ejecute el ciclo completo de muestreo de trayectorias y optimización de políticas con Forward, o conserve su propio entrenador (GRPO, PPO, REINFORCE) y utilice Grid únicamente como flota de muestreo de rollouts de alta concurrencia.
Cada checkpoint candidato se evalúa frente a tareas reservadas en cuanto a finalización de tareas, precisión en llamadas a herramientas, latencia y costo por ejecución aceptada antes de su promoción a producción.
03 / Responsabilidad
Elija si Forward opera el ciclo de optimización de trayectorias junto a su equipo o si sus ingenieros de ML conservan el entrenador y utilizan Grid exclusivamente para el muestreo de rollouts de alta concurrencia.
| Etapa del ciclo | RL de Agentes (Alcance definido con Forward) | Rollouts de RL con entrenador propio |
|---|---|---|
| 1. Entorno y Sandbox de Herramientas | Cliente: Define las tareas del dominio, los esquemas de herramientas objetivo y los límites de seguridad. Forward: Califica el entorno acordado y el límite de acceso antes del muestreo en vivo. | Cliente: Ejecuta llamadas a herramientas, sandboxes de código o transiciones de estado del entorno dentro de la infraestructura del cliente. Forward: Sirve completaciones de rollout de alto rendimiento (`n` muestras por prompt, logprobs, tokens de parada) en Forward Grid. |
| 2. Generación y Muestreo de Trayectorias | Cliente: Proporciona tareas o trazas aprobadas con derechos explícitos de entrenamiento. Forward: Orquesta trayectorias paralelas multiturno abarcando llamadas a herramientas, reintentos y exploraciones de ramas. | Cliente: Despacha lotes de rollouts desde VeRL / OpenRLHF / entrenador propio y gestiona los ciclos de episodios. Forward: Califica el rendimiento de muestreo, la frescura del checkpoint y la latencia para la ventana cotizada. |
| 3. Verificador, Rúbrica y Puntuación de Recompensas | Cliente: Aprueba los criterios de aceptación de negocio y las reglas sobre casos límite del dominio. Forward: Construye y ejecuta verificadores deterministas, controles de citación y arneses de recompensa de proceso por paso. | Cliente: Calcula recompensas escalares, tasas de aprobación de pruebas unitarias o puntuaciones de jueces dentro del ciclo de entrenamiento del cliente. Forward: Opcionalmente sirve modelos rápidos de juez/recompensa o comprobaciones de OpenDetector mediante endpoints de Grid. |
| 4. Actualización de Gradientes y Paso del Optimizador | Cliente: Revisa las curvas de aprendizaje, las mejoras en benchmarks reservados y los informes de regresión. Forward: Ejecuta el ciclo de optimización post-entrenamiento y la selección de checkpoints en la infraestructura de Forward. | Cliente: Ejecuta el paso hacia atrás (backward pass), la penalización KL y el paso del optimizador (GRPO / PPO / GSPO) en las GPUs de entrenamiento del cliente. Forward: Opera el servicio de muestreo calificado; el código del entrenador y el estado del optimizador siguen siendo propiedad del cliente. |
| 5. Sincronización de Pesos y Servicio en Producción | Cliente: Aprueba la evaluación en preproducción (staging) y promueve la política versionada del agente. Forward: Califica la exportación y la recarga en servicio, y luego despliega únicamente el checkpoint aceptado bajo el alcance de lanzamiento acordado. | Cliente: Envía adaptadores LoRA actualizados o deltas de checkpoints en cada paso de rollout. Forward: Actualiza los workers de rollout bajo el contrato calificado. El servicio en producción constituye un despliegue aceptado por separado. |
Una ejecución de entrenamiento calificada actualiza los pesos elegibles del modelo o de la política del agente a partir de las recompensas obtenidas en interacciones con herramientas y entornos. Los registros de ejecución, la memoria y la edición de prompts por sí solos no son aprendizaje por refuerzo. Los derechos sobre el checkpoint, la licencia del modelo y las interfaces de entrenamiento deben permitir la actualización; invocar la API de un modelo cerrado no otorga acceso a sus pesos.
La retroalimentación autorizada puede alimentar un pipeline de mejora recurrente. La evaluación independiente y la política de lanzamiento acordada rigen la promoción y la reversión. Las políticas de gobernanza y acceso permanecen fuera de la optimización de recompensas. El acceso de ejecución no autoriza el entrenamiento y el comportamiento aprendido no puede ampliar los permisos.
Elija en función de la retroalimentación y de la tarea. Utilice SFT para demostraciones, DPO u ORPO para preferencias y RL cuando disponga de un entorno ejecutable con resultados puntuables. SFT también puede enseñar el uso de herramientas en múltiples pasos. No existe una secuencia obligatoria de SFT a DPO y luego a RL; compare los métodos frente a una línea base sólida y criterios de aceptación con datos reservados.
No. El aprendizaje por refuerzo de múltiples pasos requiere un entorno verificado y un contrato de recompensas. Cada proyecto de RL de Agentes se define por invitación y se cotiza en función de su checkpoint, su arnés de entorno y su objetivo de despliegue.
Sí. Si su equipo de ML ya ejecuta ciclos de GRPO, PPO o RL personalizados, utilice Rollouts de RL con entrenador propio (/training/rl-rollouts) para contar con capacidad reservada de muestreo de trayectorias de alta concurrencia y sincronización de pesos.
Defina el conjunto de datos de trayectorias, el entorno de recompensas, el checkpoint candidato y el entorno de servicio en producción con nuestro equipo de RL aplicado.