The Desktop Frontier — Ahmad Osman, Osmantic

AI Engineer

Resumen

En esta presentación, Ahmad Osman analiza la evolución de la inteligencia artificial local y de código abierto, destacando la 'ley de densificación'. Explica cómo los modelos son cada vez más eficientes, permitiendo que capacidades que antes requerían grandes servidores ahora funcionen en hardware doméstico como un RTX 3090. Osman argumenta a favor de la IA soberana, instando a empresas y consumidores a poseer su propio hardware para evitar depender de proveedores en la nube, optimizar costes a largo plazo y mantener el control total sobre sus modelos.

Capítulos

  1. 0:17Introducción al concepto de frontera de escritorio
  2. 0:52Predicción a 18 meses para hardware de consumo
  3. 1:51Eficiencia: el impacto por parámetro
  4. 2:48Reducción drástica del hardware necesario
  5. 4:41Explicación de la ley de densificación
  6. 5:09Rendimiento actual con modelos de 744B
  7. 6:02Ventajas del entrenamiento eficiente
  8. 7:41La soberanía de la IA para empresas
  9. 9:15Evolución histórica de modelos abiertos
  10. 10:35El salto cualitativo con Qwen 2.5 y DeepSeek
  11. 15:33Por qué mantener tu hardware actual
  12. 17:08Potencial futuro de la arquitectura Blackwell

Temas tratados

  • Evolución de modelos abiertos
  • Ley de densificación

+5 temas más (contenido completo al seguir el canal)

Extracto de la transcripción

[music] Hey everyone, we are about to start this presentation. Uh it's called the desktop frontier [snorts] and um [clears throat] it's basically about where we started and how far we've come with local and open source models. Um how many like just a quick question how many of you here follow me on X? >> I'm I'm amazing. Love you all. Love you all. Uh so you know I sometimes every now and then I would say a prediction uh here is a new one within roughly 18 months we are going to have the equivalent of GLM 5.2 class intelligence running on a single RTX 5090 with 32 GB of VRAM. Um that's basically late 2027. Um this this is conservative. We might actually get there faster. So uh you know for a long time uh the story has been bigger models bigger models bigger models how can we get to the next 5 trillion how can we get to the 20 trillion and I'm not saying that there won't ever be like a ga…