[1hr Talk] Intro to Large Language Models

Summary

Esta charla ofrece una inmersión técnica pero accesible sobre los Modelos de Lenguaje Grandes (LLMs). El autor desmitifica cómo estos modelos, que inicialmente son solo dos archivos, se entrenan comprimiendo grandes volúmenes de Internet para predecir la siguiente palabra. Explica la diferencia entre preentrenamiento y ajuste fino, la importancia de la multimodalidad y el uso de herramientas, y cómo estos modelos están evolucionando hacia sistemas operativos inteligentes. Finalmente, analiza los riesgos de seguridad emergentes, como los ataques de jailbreak e inyección de prompts, planteándolos como un reto constante en este nuevo paradigma computacional.

Topics covered

• Naturaleza de los LLMs
• Entrenamiento y Compresión

+5 more topics (full content when you follow the channel)

Transcript excerpt

Hola a todos, hace poco di una charla de 30 minutos sobre modelos de lenguaje grandes, una especie de introducción. Desafortunadamente, no la grabé, pero mucha gente me comentó después que les había gustado mucho, así que pensé en volver a grabarla y subirla a YouTube. Aquí vamos: la introducción a los modelos de lenguaje grandes para personas ocupadas. Director Scott. Bien, empecemos. Primero que nada, ¿qué es un modelo de lenguaje grande? Un modelo de lenguaje grande son solo dos archivos. Habrá dos archivos en este directorio hipotético. Por ejemplo, trabajando con el modelo Llama 270b, este es un modelo de lenguaje grande lanzado por MetaAi. Es la segunda iteración de la serie Llama, con 70 mil millones de parámetros. Hay varios modelos pertenecientes a la serie Llama 2: 7 mil millones, 13 mil millones, 34 mil millones y 70 mil millones, que es el más grande. A mucha gente le gusta e…