Let's build GPT: from scratch, in code, spelled out.

Andrej Karpathy

Resumen

En este tutorial exhaustivo, el autor guía al espectador a través de la construcción de un modelo de lenguaje Transformer desde cero, estilo GPT. Partiendo del dataset 'tiny Shakespeare', explica paso a paso la arquitectura de los Transformers, desde los conceptos básicos de tokenización y modelos de Bigrama, hasta la implementación de mecanismos de auto-atención (self-attention), normalización de capas, conexiones residuales y el escalado final. El vídeo desmitifica el funcionamiento interno de sistemas como ChatGPT, diferenciando claramente entre la fase de pre-entrenamiento (completado de documentos) y la posterior fase de fine-tuning para alineación como asistente.

Capítulos

  1. 4:00Importación y carga del dataset
  2. 8:03Preparación y Tokenización
  3. 9:48Tokenización a nivel de carácter
  4. 13:45División de entrenamiento y validación
  5. 15:24Muestreo por bloques y batches
  6. 22:19Modelo de Lenguaje Inicial
  7. 23:25Construcción de la tabla de embeddings
  8. 25:00Función de pérdida (Cross Entropy)
  9. 29:24Implementación de generación
  10. 34:57Entrenamiento básico
  11. 47:10Uso de operaciones matriciales para promedios
  12. 1:02:01El mecanismo de Auto-atención
  13. 1:04:00Auto-atención dependiente de los datos
  14. 1:14:22La función de máscara (Causalidad)
  15. 1:17:21Escalado de los pesos de atención
  16. 1:22:09Arquitectura Multi-Cabeza y Feed Forward
  17. 1:22:27Implementación de multi-head attention
  18. 1:25:58Adición de redes Feed Forward
  19. 1:28:33Incorporación de conexiones residuales
  20. 1:33:09Aplicación de Layer Norm
  21. 1:37:47Escalado del Modelo y Conclusiones
  22. 1:38:13Regularización mediante Dropout
  23. 1:39:38Ajuste de hiperparámetros
  24. 1:40:31Análisis de resultados
  25. 1:49:00Diferencia con el entrenamiento de ChatGPT

Temas tratados

  • Arquitectura Transformer
  • Tokenización

+4 temas más (contenido completo al seguir el canal)

Extracto de la transcripción

hi everyone so by now you have probably heard of chat GPT it has taken the world and AI Community by storm and it is a system that allows you to interact with an AI and give it text based tasks so for example we can ask chat GPT to write us a small Hau about how important it is that people understand Ai and then they can use it to improve the world and make it more prosperous so when we run this AI knowledge brings prosperity for all to see Embrace its power okay not bad and so you could see that chpt went from left to right and generated all these words SE sort of sequentially now I asked it already the exact same prompt a little bit earlier and it generated a slightly different outcome ai's power to grow ignorance holds us back learn Prosperity weights so uh pretty good in both cases and slightly different so you can see that chat GPT is a probabilistic system and for any one prompt it…