If Your AI Scores 100%, Your Eval Is Wrong - Ramakrishnan Lokanathan, eslams.com

Summary

Ramakrishnan Lokanathan explica por qué las evaluaciones actuales de IA son insuficientes y cómo construir un marco sólido para aplicaciones de alto riesgo. Propone dejar de evaluar solo el resultado final y empezar a probar el flujo de trabajo completo, la capacidad de razonamiento agéntico mediante juegos y la importancia de convertir los fallos reales en futuras pruebas de estrés. El enfoque principal es entender que una evaluación perfecta indica una prueba mal diseñada, invitando a los desarrolladores a ser más ambiciosos con sus métricas para asegurar que se cumpla la promesa hecha al usuario.

Topics covered

• Limitaciones de las evaluaciones actuales
• Definición de evaluaciones de IA

+5 more topics (full content when you follow the channel)

Transcript excerpt

Creo que la razón principal por la que todos estamos aquí es porque las evaluaciones actuales están muy rotas, ¿verdad? Y eso es lo que estamos tratando de explorar y entender cómo abordar. La mayoría de las veces, creo que las evaluaciones fallan porque las complicamos demasiado y realmente no las entendemos, ¿cierto? Oímos cosas como que la evaluación es más importante que el modelo o que la evaluación es más importante que la dificultad o qué sé yo, pero ¿qué es siquiera una evaluación? Es una pregunta a la que todos llegamos, y es algo con lo que me encuentro constantemente al hablar con personas que construyen aplicaciones de alto riesgo, para entender al nivel de principios básicos qué es una evaluación, ¿verdad?¿Y qué es una evaluación? Es solo una abreviatura del término evaluar, ¿cierto? Y cómo entendemos la evaluación es como conocemos los exámenes, que son examinaciones, y est…