Esta es la guía que necesitas para armar tu IA local

HolaMundo

Resumen

Este video es una guía práctica para entender cómo montar tu propia infraestructura de IA local. Se explora desde la importancia de la privacidad y el control total sobre los modelos, hasta los desafíos técnicos como el consumo de VRAM, el ancho de banda de memoria (memory bandwidth) y el hardware necesario. Se comparan arquitecturas, el impacto del software utilizado (LM Studio, Ollama, VLLM) y la elección estratégica entre GPUs de Nvidia o AMD, ofreciendo una hoja de ruta para decidir según las necesidades de uso, ya sea desarrollo personal o entornos empresariales con múltiples usuarios.

Capítulos

  1. 0:00Introducción y razones para usar IA local
  2. 1:44El papel del desarrollador en configuraciones locales
  3. 1:55Diferencia de peso y parámetros entre modelos
  4. 4:04Requerimientos de hardware para modelos grandes
  5. 5:59Gestión de memoria VRAM y contexto
  6. 8:36Desafíos de ejecutar múltiples modelos
  7. 10:13Velocidad de generación y Memory Bandwidth
  8. 12:31Limitaciones de la memoria unificada (Apple/AMD)
  9. 13:34Análisis de modelos Mixture of Experts
  10. 15:07Estrategias de compra: AMD vs Nvidia
  11. 16:40Escalabilidad con Nvidia y VLLM
  12. 20:02Elección de software de ejecución
  13. 21:28Consideraciones de sistema operativo
  14. 22:33Resumen práctico de pasos para tu infraestructura

Temas tratados

  • Motivaciones para la IA local
  • Diferencias en requerimientos de hardware

+5 temas más (contenido completo al seguir el canal)

Extracto de la transcripción

Los modelos locales ya están siendo lo suficientemente buenos para que nosotros los podamos utilizar de manera productiva. Ahora, los modelos locales, por supuesto que no son para todas las personas ni tampoco para todos los desarrolladores, pero sí hay muchas empresas o también muchas personas que van a querer utilizar estos modelos locales. Un ejemplo muy bueno es privacidad. Hay personas o empresas que no pueden [música] sacar los datos de sus servidores o de sus computadores, necesariamente tienen que ejecutar todo en local. Por ejemplo, empresas con PCI compliance. Derechamente el código no puede salir a internet, tiene que quedarse dentro de los servidores de la empresa. También tú tienes otras empresas que están tratando, por ejemplo, con datos clínicos de pacientes. Ellos tampoco pueden mandar los datos a internet. Entonces, ellos, si es que quieren hacer uso de la inteligencia a…