Why Diffusion Will Win AI Inference with Inception Co-Founder and CEO Stefano Ermon
No Priors: AI, Machine Learning, Tech, & Startups
Resumen
Stefano Ermon, cofundador de Inception y pionero en modelos de difusión, explica por qué su empresa apuesta por esta arquitectura frente a los modelos autoregresivos predominantes. A diferencia de los LLM actuales que procesan tokens de forma secuencial y lenta, los modelos de difusión permiten una inferencia altamente paralela. Esto no solo mejora la velocidad y eficiencia, cruciales en un entorno con recursos de computación limitados, sino que ofrece una mayor controlabilidad sobre las salidas. Ermon destaca cómo la investigación académica sigue siendo un motor vital para descubrir nuevas formas de inteligencia más allá del escalado bruto.
Capítulos
- 0:08Introducción y perfil de Stefano Ermon
- 0:42Raíces en la investigación de modelos generativos
- 3:23El paso de GANs a modelos de difusión
- 5:07El avance técnico de 2024 en texto
- 7:09Diferencia fundamental de paradigmas de inferencia
- 8:04La apuesta por la escalabilidad en inferencia
- 9:11Limitaciones del hardware con modelos autoregresivos
- 10:16El rol de la eficiencia en la industria
- 12:10Superando el reto de las modalidades discretas
- 12:23Estado actual de los modelos Mercury
- 16:55Casos de uso reales y latencia
- 20:10Estrategias para competir como una startup
- 26:57La importancia de la controlabilidad
- 33:08Perspectivas sobre la mejora recursiva
- 37:11Conclusión sobre el futuro de la academia
Temas tratados
- Historia de los modelos generativos
- Surgimiento de los modelos de difusión
+5 temas más (contenido completo al seguir el canal)
Extracto de la transcripción
Hi listeners, welcome back to No Priors. Today I'm here with Stephenau Man who is a longtime Stanford professor and now co-founder and CEO of Inception. Stephenau has a extraordinarily broad body of work around generative modeling, but is especially well known as one of the fathers of diffusion. We talk about his company challenging the large labs and why speed and efficiency are going to be the name of the game in AI over the next few years. Welcome Stefano. Stefano, thanks so much for being here. >> Great to be here. >> I would love for uh us to just start with a little bit of your research background and how you ended up starting >> For sure. Yeah. I've been doing research your company. in generative models for like uh basically my entire career. I started at Stanford in 2014 as an assistant professor and I was working on building generative models. Back then the the research area was…