Agents at Scale: Inside MiniMax's Model and the Infrastructure Behind It — Olive Song

AI Engineer

Resumen

Este vídeo presenta una conversación con Dan de Together AI y Olive de MiniMax, explorando el lanzamiento del modelo de IA MiniMax M3. Se discute la decisión de hacer M3 de código abierto, sus capacidades multimodales y cómo la asociación con Together AI permite su distribución a escala. También se abordan los desafíos de la optimización de la inferencia, la evolución de las cargas de trabajo hacia agentes y modelos multimodales, y cómo se entrena un modelo para tareas complejas. Los expertos comparten sus perspectivas sobre el futuro de la IA, la subutilización de las GPUs y el creciente potencial de los modelos de código abierto.

Capítulos

  1. 0:12Introducción de los participantes y sus roles
  2. 1:17Motivación de MiniMax para el código abierto de M3
  3. 2:16Colaboración entre MiniMax y Together AI
  4. 4:01Capacidades y casos de uso únicos de MiniMax M3
  5. 5:05Desafíos del post-entrenamiento en dominios específicos
  6. 5:51El papel de los modelos abiertos en el desarrollo de kernels
  7. 7:18Proceso de optimización de inferencia desde el día cero
  8. 9:10Impacto de las cargas de trabajo agentic en la inferencia
  9. 10:29Entrenamiento multimodal desde cero en M3
  10. 11:48Optimización de inferencia con atención dispersa y contexto amplio
  11. 12:44Aprendizaje y aplicación de optimizaciones entre modelos
  12. 14:08Entrenamiento de modelos para tareas complejas de largo horizonte
  13. 15:14Estrategias de evaluación para tareas de largo horizonte
  14. 16:19Gestión de la caché KB para solicitudes concurrentes
  15. 17:34Perspectivas sobre el futuro de la IA y modelos abiertos

Temas tratados

  • Roles e Introducciones
  • Filosofía del Código Abierto

+8 temas más (contenido completo al seguir el canal)

Extracto de la transcripción

This is a discussion that I'm particularly excited about because the field is moving so fast and we have two people that that kind of have this unique vantage point on the field and what I want to do is kind of ask questions to see if we can learn from that. So I want to start off with intros, talk a little bit about your role, what you're thinking about, what you're working on. Maybe Dan if you can go first. >> Uh hey everyone. I'm Dan. I'm the VP of Kernels Together AI. I lead inference, GPU optimization, trying to figure out how to use GPUs most effectively to serve AI models. >> Yeah. So one of the things that I wanted to dive in with Dan about is like you model drops, what are what is everything that goes on behind the scenes to serve it so that everybody here there's a lot of builders here that can use it. Olive I want to throw it over to you to talk about your role and what you're…