¿Qué es un TRANSFORMER? La Red Neuronal que lo cambió TODO!

Dot CSV

Resumen

El vídeo explica de forma intuitiva cómo funcionan los Transformers, la arquitectura de red neuronal que revolucionó la inteligencia artificial. Se repasa el problema de la memoria a largo plazo en las antiguas redes neuronales recurrentes (RNN) y cómo los 'mecanismos de atención' permitieron superarlo al evaluar la relación entre todas las palabras de una secuencia simultáneamente. A través de metáforas como perfiles de Tinder o llaves y cerraduras, se detalla matemáticamente cómo cada palabra genera vectores de consulta, clave y valor para contextualizarse con el resto de la frase, dando paso al concepto fundamental de 'Attention Is All You Need'.

Capítulos

  1. 0:18Introducción y contexto del Deep Learning
  2. 1:04El surgimiento de los Transformers en 2017
  3. 2:36Funcionamiento de las redes neuronales recurrentes
  4. 4:09El problema de la memoria a largo plazo
  5. 5:20Introducción a los mecanismos de atención
  6. 5:41Representación de palabras mediante vectores
  7. 7:32Búsqueda automatizada de relaciones entre palabras
  8. 8:09La metáfora de llaves, cerraduras y Tinder
  9. 9:51Matemáticas detrás de la compatibilidad
  10. 10:12Definición de vectores Query, Key y Value
  11. 11:17Creación del vector y la matriz de atención
  12. 13:43Aplicación de la suma ponderada para el contexto
  13. 15:34El paper Attention Is All You Need
  14. 16:21Conclusiones y futuros temas

Temas tratados

  • Evolución de arquitecturas neuronales
  • Limitaciones de las Redes Neuronales Recurrentes
  • El papel de los mecanismos de atención
  • Representación vectorial de palabras
  • Metáfora de llaves y cerraduras
  • Cálculo de la matriz de atención
  • El paper Attention Is All You Need

Extracto de la transcripción

Este vídeo está patrocinado por el podcast Cuidado con las macros ocultas de 4 80. Cuidado con las macros ocultas. Un podcast de 4 80. Veamos. Seguramente estarás al día de los increíbles avances que hemos conseguido en el campo del Deep Learning durante la última década. Un montón de cosas. En los comienzos usábamos arquitectura de redes neuronales sencillas, como las redes neuronales multi capas, para construir los primeros modelos que aprendieron a resolver tareas básicas. Y luego nos fuimos adaptando y perfeccionando a la naturaleza de los diferentes tipos de datos que usábamos. Redes neuronales conversacionales para entender datos espaciales como imágenes, redes neuronales recurrentes para entender los datos secuenciales como textos, redes neuronales que no sólo se utilizaban para aprender a analizar patrones, sino que también eran capaces de generarlos con resultados qu…