Scaling to Long Horizons — Ross Taylor & Chengxi Taylor, General Reasoning

AI Engineer

Resumen

En esta charla, Ross Taylor y Chengxi Taylor de General Reasoning exploran cómo escalar agentes de IA a tareas de "horizonte largo". Ross relata su experiencia desde Meta AI, destacando el impacto del refuerzo por retroalimentación humana (RLHF) tras el fracaso de Galactica frente a ChatGPT, y la importancia de modelos base de alta calidad. Chengxi profundiza en los desafíos de las tareas de horizonte largo, como la escasez de contexto y la varianza del gradiente, proponiendo soluciones algorítmicas con modelos de valor y herramientas de gestión de contexto. Presenta el benchmark Kelly bench, donde los modelos actuales fracasan en tareas de trading, enfatizando la necesidad de ir más allá de las tareas de codificación. Finalmente, abordan el impacto en el cómputo y la infraestructura, presentando OpenReview como una solución.

Capítulos

  1. 0:12Introducción a la charla y presentadores
  2. 1:09Trayectoria personal de Ross Taylor y la "Edad de Oro"
  3. 1:59La aparición de ChatGPT y el contraste con Galactica
  4. 2:49RLHF: el factor diferenciador de ChatGPT
  5. 3:09El fracaso de Galactica y la importancia del RL
  6. 4:29El sorprendente rendimiento técnico de Galactica
  7. 5:14Innovaciones clave de Galactica: datos y entrenamiento
  8. 5:52El concepto de "tokens de pensamiento" (thinking tokens)
  9. 6:30Primeros intentos de aplicar RL al razonamiento con Llama 2
  10. 8:08La "lección amarga": el dominio de los modelos base mejorados
  11. 9:20Introducción de Chengxi Taylor y el enfoque en el horizonte largo
  12. 10:03Desafíos de las tareas de horizonte largo en IA
  13. 11:17Soluciones algorítmicas y herramientas de contexto
  14. 12:31El benchmark Kelly bench y el rendimiento actual de los modelos
  15. 14:29Impacto en el cómputo y la infraestructura de RL
  16. 16:49Conclusiones y la misión de General Reasoning

Temas tratados

  • Introducción y objetivos de la charla
  • Experiencia personal en Meta AI y modelos de lenguaje

+8 temas más (contenido completo al seguir el canal)

Extracto de la transcripción

Uh so this talk is called scaling to long horizons. My name is Ross. Uh I'm the CEO of GR. We're a London-based reinforcement learning company. Uh before GR, I was the reasoning lead at Meta AI working on Llamas, uh Galactica, lots of other models back in the day. I'm joined by Chengxi, uh co-founder and president of GR. Uh and yeah, hit today we're going to talk about algorithms, environments, compute, all the things you need to do to get agents scaling uh to kind of long with tasks. So we're going to have two parts of this talk today. I'm going to first of all start with a personal perspective about, you know, the early days, the golden age of language modeling in between like maybe 2020 and 2023. Uh I'll talk about, like I said, all these models and some of our early reinforcement learning efforts for LLMs. And then Chengxi is going to talk about, you know, what's ahead, you know, wha…