What's Next After RLHF? — Diogo Almeida, TypeSafe AI

AI Engineer

Resumen

Diogo Almeida, coautor de hitos de OpenAI, analiza por qué la era actual de la IA se ha centrado exclusivamente en la asistencia humana mediante RLHF y por qué esto limita su potencial para la automatización real. Explica que al optimizar modelos solo para satisfacer preferencias humanas, hemos creado asistentes muy convincentes pero poco fiables para decisiones críticas. Propone que el futuro de la IA no es la asistencia constante, sino la creación de software inteligente y autónomo diseñado desde cero para la fiabilidad.

Capítulos

  1. 0:12Introducción y propósito del análisis
  2. 0:56Experiencia del ponente en OpenAI
  3. 2:08El estado actual: dos extremos enfrentados
  4. 5:11Asistencia versus automatización
  5. 6:21Por qué el RLHF genera resultados sesgados
  6. 7:00Consecuencias de optimizar para el usuario
  7. 9:03La era de la asistencia actual
  8. 10:17El estancamiento del software SaaS
  9. 11:14Just-in-time software frente a software inteligente
  10. 13:04Rediseñando el stack de IA
  11. 14:29Preguntas sobre pre-entrenamiento y alucinaciones
  12. 16:12La importancia de la métrica objetivo

Temas tratados

  • Limitaciones del RLHF
  • Asistencia vs. Automatización

+4 temas más (contenido completo al seguir el canal)

Extracto de la transcripción

Excellent. I will say that um I might speed run through this. Feel free if you don't disag- agree with something to yell out. It's way more fun for me if things get interactive. Um otherwise, I will go through this. Uh first, can I have like a vague show of hands of who knows what RLHF is? Oh, excellent. I might be able to skip through that part quickly and get into the interactive stuff. So, my name's Tiago Almeida. I'm talking about what's next after RLHF. More accurately, I think this should be called what's next after the chat GPT era that I think we're all in. And my hint for you guys is it is not the Claude code era. I will justify this later on, but I actually believe them to be part of the same era. Why should you listen to me? I was co-authored to what what is basically OpenAI's greatest hits, at least published hits. Co-authored to GPT-4, chat GPT, RLHF {slash} instruct GPT. Um…