If Your AI Scores 100%, Your Eval Is Wrong - Ramakrishnan Lokanathan, eslams.com

AI Engineer

Resumen

Ramakrishnan Lokanathan explica por qué las evaluaciones actuales de IA son insuficientes y cómo construir un marco sólido para aplicaciones de alto riesgo. Propone dejar de evaluar solo el resultado final y empezar a probar el flujo de trabajo completo, la capacidad de razonamiento agéntico mediante juegos y la importancia de convertir los fallos reales en futuras pruebas de estrés. El enfoque principal es entender que una evaluación perfecta indica una prueba mal diseñada, invitando a los desarrolladores a ser más ambiciosos con sus métricas para asegurar que se cumpla la promesa hecha al usuario.

Capítulos

  1. 0:12Introducción a la crisis de las evaluaciones de IA
  2. 0:44Concepto fundamental: qué es una evaluación
  3. 1:43La evaluación como señal de preparación
  4. 3:00Trayectoria personal y el auge de los LLM
  5. 4:52Por qué las evaluaciones serán irrelevantes en el futuro
  6. 5:32Definir el éxito ambicioso en aplicaciones de IA
  7. 6:18El peligro de las evaluaciones con puntaje perfecto
  8. 6:40Importancia de evaluar el flujo de trabajo completo
  9. 7:37Sistemas de evaluación integrales
  10. 9:16Uso de juegos para evaluar razonamiento agéntico
  11. 10:37Presentación del proyecto E Slams
  12. 12:47La importancia de probar regresiones
  13. 13:38Aprendiendo de los fallos del mundo real
  14. 15:09Conclusiones y marco mental para el desarrollo

Temas tratados

  • Limitaciones de las evaluaciones actuales
  • Definición de evaluaciones de IA

+5 temas más (contenido completo al seguir el canal)

Extracto de la transcripción

Creo que la razón principal por la que todos estamos aquí es porque las evaluaciones actuales están muy rotas, ¿verdad? Y eso es lo que estamos tratando de explorar y entender cómo abordar. La mayoría de las veces, creo que las evaluaciones fallan porque las complicamos demasiado y realmente no las entendemos, ¿cierto? Oímos cosas como que la evaluación es más importante que el modelo o que la evaluación es más importante que la dificultad o qué sé yo, pero ¿qué es siquiera una evaluación? Es una pregunta a la que todos llegamos, y es algo con lo que me encuentro constantemente al hablar con personas que construyen aplicaciones de alto riesgo, para entender al nivel de principios básicos qué es una evaluación, ¿verdad?¿Y qué es una evaluación? Es solo una abreviatura del término evaluar, ¿cierto? Y cómo entendemos la evaluación es como conocemos los exámenes, que son examinaciones, y est…