Reinforcement Learning without Verifiable Rewards — Will Brown, Prime Intellect

AI Engineer

Resumen

Will Brown de Prime Intellect explica cómo escalar el aprendizaje por refuerzo (RL) cuando no existen recompensas verificables, un desafío común en tareas del mundo real. En lugar de reglas deterministas, propone usar técnicas como la creación de entornos dinámicos, el uso de LLMs como jueces y el aprovechamiento de trazas de producción para generar señales de entrenamiento. El objetivo es democratizar la capacidad de entrenar agentes que aprendan continuamente de sus errores, cerrando el ciclo entre despliegue, corrección y refinamiento del modelo.

Capítulos

  1. 0:13Introducción al aprendizaje por refuerzo sin recompensas
  2. 1:26Componentes de un entorno de RL
  3. 2:02Cálculo de la ventaja y optimización de políticas
  4. 2:42Herramientas de Prime Intellect para entrenamiento
  5. 4:11Entornos como base para evals y datos
  6. 5:01El reto de las tareas no verificables
  7. 6:20Riesgos de escalabilidad y reward hacking
  8. 6:42Definición estratégica de aprendizaje continuo
  9. 8:31Métodos para generar señales de entrenamiento
  10. 10:26Uso de trazas de producción y documentos
  11. 12:15Simulación y control del estado del back-end
  12. 13:21Escalando el uso de jueces
  13. 15:56Iteración y diseño de experimentos
  14. 17:29Combinación de RL con modelos de mundo
  15. 18:43Cierre del ciclo y conclusiones

Temas tratados

  • Conceptos básicos de RL
  • Limitaciones de la verificabilidad

+6 temas más (contenido completo al seguir el canal)

Extracto de la transcripción

Uh thanks all for coming to AI engineer and checking out the post training session. Um hopefully lots of fun stuff today and throughout the conference. Um I'm Will Brown. I lead applied research at Primordial AI and today I want to talk about reinforcement learning without verifiable rewards. And so many of people may have been learning about RLVR over the past uh year or so uh year and a half as this stuff has really taken off and become the main way that we think about scaling reinforcement learning. Um but often we don't actually have verifiable rewards. And so messy real world tasks often we're kind of figuring out as we go. We're having our agents run around and we kind of in hindsight maybe can like look at what they did and say like okay this is good this is bad. Um but sometimes sitting down and just like specifying okay this is the rule this is the goal is not always so straight…