Inside the black box of AI: How AI models actually think | Emmanuel Ameisen (Anthropic)

Lenny's Podcast

Resumen

Emmanuel Ameisen de Anthropic desglosa la 'caja negra' de los modelos de lenguaje (LLMs) actuales. A través de la interpretabilidad, su equipo intenta entender cómo los modelos procesan información, planifican y representan conceptos abstractos mediante operaciones matemáticas complejas. Ameisen explica que, aunque los modelos parecen predecir simplemente el siguiente token, en realidad han desarrollado una estructura interna que les permite razonar y planificar, cuestionando la visión tradicional de que son meras herramientas estadísticas sin intención.

Capítulos

  1. 0:00Seguridad, alineación y el problema del mal comportamiento
  2. 0:28La naturaleza inescrutable de los modelos
  3. 1:39Introducción a la interpretabilidad
  4. 1:50Definición del rol de investigador
  5. 2:55El mecanismo de predicción del siguiente token
  6. 4:43Comprendiendo la complejidad interna
  7. 13:53Más allá de la predicción simple: planificación y conceptos
  8. 49:44El futuro de la investigación y la inteligencia

Temas tratados

  • Interpretabilidad
  • Predicción de tokens

+4 temas más (contenido completo al seguir el canal)

Extracto de la transcripción

One of the big questions on people's minds these days is AI doing bad things. As someone who watches these models think and operate, why is it so hard to catch it thinking badly, trying to >> We trained Claude to be helpful, deceive us? harmless, and honest. Is it the case that it's behaving well, but if you look inside, actually it's like, "Oh, I'm only behaving well cuz Lenny's watching right now." >> People's full-time job is studying the model, how it thinks, how it operates. How long has this been a skill set and a job? >> One of the most important things to realize if you like use language models or think about them is just this like very bizarre fact that to make them is not to understand them. All these models do is just a lot of mathematical operations on many numbers. If you look at it, it makes no sense. You just have a list of 100 numbers, you know, the model's doing math, an…