¿Qué es un TRANSFORMER? La Red Neuronal que lo cambió TODO!

Dot CSV

Summary

El vídeo explica de forma intuitiva cómo funcionan los Transformers, la arquitectura de red neuronal que revolucionó la inteligencia artificial. Se repasa el problema de la memoria a largo plazo en las antiguas redes neuronales recurrentes (RNN) y cómo los 'mecanismos de atención' permitieron superarlo al evaluar la relación entre todas las palabras de una secuencia simultáneamente. A través de metáforas como perfiles de Tinder o llaves y cerraduras, se detalla matemáticamente cómo cada palabra genera vectores de consulta, clave y valor para contextualizarse con el resto de la frase, dando paso al concepto fundamental de 'Attention Is All You Need'.

Chapters

  1. 0:00Introduction to Neural Networks
  2. 2:00Recurrent Neural Networks Explained
  3. 5:38The Memory Problem in RNNs
  4. 8:37Introduction to Attention Mechanisms
  5. 12:25Query, Key, and Value Vectors
  6. 17:30Calculating Attention Scores

Topics covered

  • Evolución de arquitecturas neuronales
  • Limitaciones de las Redes Neuronales Recurrentes
  • El papel de los mecanismos de atención
  • Representación vectorial de palabras
  • Metáfora de llaves y cerraduras
  • Cálculo de la matriz de atención
  • El paper Attention Is All You Need

Transcript excerpt

Este vídeo está patrocinado por el podcast Cuidado con las macros ocultas de 4 80. Cuidado con las macros ocultas. Un podcast de 4 80. Veamos. Seguramente estarás al día de los increíbles avances que hemos conseguido en el campo del Deep Learning durante la última década. Un montón de cosas. En los comienzos usábamos arquitectura de redes neuronales sencillas, como las redes neuronales multi capas, para construir los primeros modelos que aprendieron a resolver tareas básicas. Y luego nos fuimos adaptando y perfeccionando a la naturaleza de los diferentes tipos de datos que usábamos. Redes neuronales conversacionales para entender datos espaciales como imágenes, redes neuronales recurrentes para entender los datos secuenciales como textos, redes neuronales que no sólo se utilizaban para aprender a analizar patrones, sino que también eran capaces de generarlos con resultados qu…