Is Fine-Tuning Still Needed? LLMs, RAG, & LoRA

IBM Technology

Resumen

El vídeo analiza la relevancia actual del ajuste fino (fine-tuning) en los LLM frente a la rápida evolución de los modelos generales. Aunque en 2023 el fine-tuning era la solución estándar para tareas específicas, hoy en día los modelos frontera, con ventanas de contexto masivas y capacidades de razonamiento mejoradas, a menudo superan a las versiones personalizadas. El autor propone una jerarquía de personalización donde el fine-tuning queda como último recurso, priorizando técnicas como RAG, ingeniería de prompts, habilidades de agentes y métodos eficientes como LoRA solo cuando se requiere latencia ultra baja o destilación de conocimientos.

Capítulos

  1. 0:00Introducción al caso legal de 2023
  2. 0:54Definición técnica de fine-tuning
  3. 2:42El cambio en el rendimiento de los benchmarks
  4. 3:35Comparativa con BloombergGPT
  5. 4:09El impacto de las ventanas de contexto
  6. 4:46Razonamiento durante la inferencia
  7. 5:21El reto de la obsolescencia
  8. 5:43Estrategias alternativas: RAG y contexto
  9. 6:27Implementación de habilidades de agentes
  10. 7:17Costes asociados al entrenamiento
  11. 7:46Introducción a LoRA
  12. 8:26Razones válidas para ajustar modelos
  13. 9:19Destilación y RFT
  14. 9:55Framework de decisión recomendado

Temas tratados

  • Evolución del fine-tuning desde 2023
  • Limitaciones frente a modelos frontera

+6 temas más (contenido completo al seguir el canal)

Extracto de la transcripción

Is fine-tuning large language models still needed today? Well let's take a well-known legal AI company because back in 2023 they fine- tuned their own model, their own custom AI, in partnership with the Frontier Lab, and in blind tests attorneys preferred this fine-tune model over the Frontier model at the time, which was GPT-4. They preferred it 97% of the time. A win for fine tuning. They built a custom AI that lawyers actually preferred over the off the shelf leading model. So the lesson is, if a general purpose model isn't quite right for some specific use case like legal work, then fine tune it. Right? Well, first let's define what fine tuning actually is. So we're going to start off with a base model, a base LLM. This is what comes off the shelf. So this is either working with a Frontier lab directly or maybe picking out an open source model. Now the base model is trained on a mass…