Agent Learning / Agent RL por recompensa

Transforme trabalho aceito em agentes melhores.

Transforme resultados de tarefas, avaliações de especialistas e feedback calibrado de agentes em sinais de recompensa. Treine políticas elegíveis no seu ambiente, compare-as em avaliações independentes e implante as versões que atendam aos critérios de aceite.

O Agent Learning pode usar um ambiente de execução do cliente admitido sem uma implantação empresarial do Agentic OS. Ambiente, modelo, direitos de dados e aceitação são qualificados separadamente.

Escopo por convite · Contrato de ambiente e verificação sob medida · Proposta por contratação

Mantenha seu treinador (rollouts de RL)Ler o guia de Agent RL

Melhoria contínua / Aprendizado controlado

Cada resultado aceito pode orientar a próxima melhoria.

Construa um ciclo da execução de negócio à melhoria mensurável. O feedback de agentes ajuda a propor e pontuar mudanças. Resultados verificados e avaliações independentes determinam se elas funcionam.

01
Tarefa de negócio
Uma função definida e critérios de aceite.
02
Execução com governança
Contexto, ferramentas e limites de ação autorizados.
03
Feedback verificado
Resultados, revisão de especialistas e avaliações calibradas de agentes.
04
Treinamento por recompensa
Sinais autorizados atualizam uma política elegível.
05
Avaliação independente
Qualidade em tarefas reservadas, políticas, latência e custo completo.
06
Liberação aprovada
Um responsável ou uma política previamente autorizada governa a promoção e a reversão.

Ciclo de aprendizado ilustrativo. A permissão de execução não autoriza treinamento. O treinamento altera pesos elegíveis do modelo ou da política; mudanças em prompts e ferramentas têm avaliação própria. O aprendizado não pode ampliar permissões. As condições de implantação, treinamento e liberação são acordadas para cada contratação.

Conhecer o Agent Learning Analisar os limites de governança

Escolha o método para o feedback que você tem.

01 / Métodos de aprendizado

Demonstrações apoiam SFT. Preferências apoiam DPO ou ORPO. Ambientes executáveis e resultados mensuráveis apoiam RL. Estabeleça uma referência e escolha ou combine métodos para a sua tarefa. SFT ou DPO prévios não são obrigatórios para uma contratação elegível de RL.

Referência inicialReferência inicial obrigatória

Prompt, contexto, Vaults e política de ferramentas

Estabeleça uma referência mensurada com contexto, recuperação de informações, ferramentas e políticas de aprovação. Avalie mudanças de configuração em conjunto com os métodos de treinamento elegíveis.

Entradas necessárias

20 a 50 casos representativos e critérios explícitos de aceite.

Artefato de saída

Instruções de sistema, divisão de conteúdo para recuperação, esquemas de ferramentas, etapas de aprovação e regras de citação (sem alterar pesos).

Conhecer Prompt, contexto, Vaults e política de ferramentas

DemonstraçõesPor convite · Piloto com escopo definido

Ajuste fino supervisionado (SFT / LoRA)

Use quando demonstrações revisadas, incluindo conversas de várias interações e trajetórias de ferramentas, puderem ensinar o comportamento desejado a um checkpoint elegível.

Entradas necessárias

Demonstrações revisadas com direitos de uso, cobertura representativa das tarefas e conjunto independente de avaliação.

Artefato de saída

Um adaptador ou checkpoint elegível é otimizado com as demonstrações aprovadas, que podem abranger tarefas de várias etapas.

Conhecer Ajuste fino supervisionado (SFT / LoRA)

PreferênciasPor convite · Método com escopo definido

Otimização por preferências (DPO / ORPO)

Use quando respostas ou trajetórias preferidas e rejeitadas, com uso autorizado, expressarem o comportamento desejado.

Entradas necessárias

Pares revisados de respostas ou trajetórias preferidas e rejeitadas, com direitos de uso e um conjunto reservado de avaliação.

Artefato de saída

Um adaptador ou checkpoint elegível é otimizado com os pares de preferência aprovados.

Conhecer Otimização por preferências (DPO / ORPO)

RecompensasDesenvolvido em conjunto · Escopo de piloto

Agent RL em trajetórias de várias etapas

Use quando um ambiente executável e resultados mensuráveis permitirem otimizar decisões em várias etapas por recompensa. SFT ou DPO prévios não são obrigatórios.

Entradas necessárias

Ambientes executáveis, checkpoints elegíveis, trajetórias autorizadas, verificações de resultado e feedback calibrado de especialistas ou agentes, além de uma referência mensurada.

Artefato de saída

Otimização completa de políticas ao longo de chamadas de ferramentas, transições de estado do ambiente e verificação final das tarefas.

Conhecer Agent RL em trajetórias de várias etapas

Contratos de ambiente, trajetória e recompensa.

02 / Contratos

Um piloto de Agent RL define quatro interfaces antes do uso de computação para treinamento: o formato do registro de trajetórias, os verificadores determinísticos, o ciclo de rollouts e o critério de promoção.

01Execuções · Chamadas de ferramentas · Estado final

Esquema de trajetórias do Agentic OS

Colete trajetórias de várias interações do Forward HIVE ou do seu ambiente. Cada trajetória registra o contexto, as chamadas de ferramentas, as saídas do sandbox, os pontos de aprovação e as entregas finais.

02Testes unitários · Verificação de citações · Validação de esquemas

Verificações de resultado e feedback calibrado de agentes

Use verificações observáveis e avaliações de especialistas para calibrar críticas e pontuações de agentes. Meça a concordância, audite divergências e procure exploração indevida da recompensa. Um agente avaliar o próprio resultado não constitui um teste de aceite independente.

03Agent RL com escopo definido ou rollouts com treinador próprio

Amostragem de rollouts e atualização de pesos

Execute a amostragem de trajetórias e a otimização de políticas com a Forward, ou mantenha seu treinador (GRPO, PPO, REINFORCE) e use o Grid apenas como infraestrutura de rollouts com alta concorrência.

04Grid Dedicated · Private · Agentic OS

Aceite do checkpoint e promoção para disponibilização

Cada checkpoint candidato é comparado em tarefas reservadas quanto à conclusão, à precisão das chamadas de ferramentas, à latência e ao custo por execução aceita antes da promoção para produção.

Agent RL e rollouts de RL com treinador próprio.

03 / Responsabilidades

Escolha entre operar o ciclo de otimização com a Forward ou manter seu treinador e usar o Grid apenas para amostragem de rollouts com alta concorrência.

Matriz de responsabilidades de Agent RL com a Forward e rollouts de RL com treinador próprio
Etapa do ciclo	Agent RL (escopo com a Forward)	Rollouts de RL com treinador próprio
1. Ambiente e sandbox de ferramentas	Cliente: Define as tarefas do domínio, os esquemas das ferramentas e os limites de segurança. Forward: Valida o ambiente e os limites de acesso acordados antes da amostragem real.	Cliente: Executa chamadas de ferramentas, sandboxes de código ou transições de estado na infraestrutura do cliente. Forward: Fornece gerações para rollouts de alta vazão (`n` amostras por prompt, logprobs e tokens de parada) no Forward Grid.
2. Geração e amostragem de trajetórias	Cliente: Fornece tarefas ou trajetórias aprovadas, com direitos explícitos de treinamento. Forward: Orquestra trajetórias paralelas com várias interações, chamadas de ferramentas, novas tentativas e exploração de alternativas.	Cliente: Envia lotes de rollouts de VeRL, OpenRLHF ou treinador próprio e gerencia os ciclos de episódios. Forward: Valida a vazão de amostragem, a atualização dos checkpoints e a latência para a janela contratada.
3. Verificador, critérios e pontuação de recompensa	Cliente: Aprova os critérios de aceite do negócio e as regras para exceções do domínio. Forward: Cria e executa verificadores determinísticos, verificações de citações e mecanismos de recompensa por etapa.	Cliente: Calcula recompensas escalares, taxas de aprovação em testes ou pontuações de avaliadores no ciclo de treinamento do cliente. Forward: Pode fornecer modelos rápidos de avaliação ou recompensa e verificações OpenDetector pelos endpoints do Grid.
4. Atualização de gradientes e etapa do otimizador	Cliente: Analisa curvas de aprendizado, ganhos em benchmarks reservados e relatórios de regressão. Forward: Executa o ciclo de otimização de pós-treinamento e a seleção de checkpoints na infraestrutura da Forward.	Cliente: Executa a retropropagação, a penalidade KL e a etapa de otimização (GRPO / PPO / GSPO) nas GPUs do treinador do cliente. Forward: Executa o serviço de amostragem validado; o código do treinador e o estado do otimizador permanecem com o cliente.
5. Sincronização de pesos e disponibilização em produção	Cliente: Aprova a avaliação em testes e promove a política versionada do agente. Forward: Valida a exportação e a recarga do modelo e implanta somente o checkpoint aceito, conforme o escopo de liberação acordado.	Cliente: Envia adaptadores LoRA atualizados ou diferenças de checkpoints em cada etapa de rollout. Forward: Atualiza os workers de rollout conforme o contrato validado. A disponibilização em produção é uma implantação separada e aceita.

Perguntas

O que o Agent Learning por recompensa modifica?

Um treinamento validado atualiza pesos elegíveis do modelo ou da política do agente a partir de recompensas nas interações com ferramentas e ambientes. Registros de execução, memória e alterações de prompt, por si só, não são aprendizado por reforço. Os direitos sobre o checkpoint, a licença e as interfaces de treinamento devem permitir a atualização; chamar uma API de modelo fechado não dá acesso aos pesos.

Os agentes podem melhorar automaticamente sem alterar suas permissões?

Feedback autorizado pode alimentar um processo recorrente de melhoria. A avaliação independente e a política de liberação acordada governam a promoção e a reversão. As políticas de governança e acesso ficam fora da otimização por recompensa. O acesso de execução não autoriza treinamento, e o comportamento aprendido não pode ampliar permissões.

Quando usar Agent RL em vez de SFT ou DPO?

Escolha conforme o feedback e a tarefa. Use SFT para demonstrações, DPO ou ORPO para preferências e RL para um ambiente executável com resultados mensuráveis. SFT também pode ensinar uso de ferramentas em várias etapas. Não existe uma sequência obrigatória de SFT, DPO e RL; compare os métodos com uma boa referência e critérios de aceite em tarefas reservadas.

Agent RL já é uma opção de autosserviço?

Não. Aprendizado por reforço em várias etapas exige um ambiente verificado e um contrato de recompensa. Toda contratação de Agent RL tem escopo por convite e proposta conforme o checkpoint, o ambiente e o destino de disponibilização.

Podemos manter nosso treinador e usar o Grid apenas para rollouts?

Sim. Se a sua equipe de ML já executa GRPO, PPO ou ciclos próprios de RL, use os rollouts com treinador próprio (/training/rl-rollouts) para amostragem reservada de trajetórias com alta concorrência e sincronização de pesos.

Traga um fluxo de várias etapas e um verificador.

Defina com a nossa equipe o conjunto de trajetórias, o ambiente de recompensa, o checkpoint candidato e o plano de disponibilização do modelo.

Conhecer rollouts de RL com treinador próprio

Transforme trabalho aceito em agentes melhores.

Cada resultado aceito pode orientar a próxima melhoria.

Tarefa de negócio

Execução com governança

Feedback verificado

Treinamento por recompensa

Avaliação independente

Liberação aprovada

Escolha o método para o feedback que você tem.

Prompt, contexto, Vaults e política de ferramentas

Ajuste fino supervisionado (SFT / LoRA)

Otimização por preferências (DPO / ORPO)

Agent RL em trajetórias de várias etapas

Contratos de ambiente, trajetória e recompensa.

Esquema de trajetórias do Agentic OS

Verificações de resultado e feedback calibrado de agentes

Amostragem de rollouts e atualização de pesos

Aceite do checkpoint e promoção para disponibilização

Agent RL e rollouts de RL com treinador próprio.

Perguntas

Traga um fluxo de várias etapas e um verificador.

Solicitar acesso

Fale conosco

Preferências de proteção de dados e telemetria