We Let Claude Code and Codex Race Human Researchers — Elie Bakouch, Prime Intellect
AI Engineer
Resumen
Elie Bakouch explora cómo los modelos de lenguaje (como Claude Code y Codex) están participando en tareas de investigación en IA a través de los Speedruns. El equipo de Prime Intellect utiliza estos retos de optimización de entrenamiento de modelos como un entorno controlado para evaluar si las máquinas pueden superar el rendimiento humano en la investigación científica. Aunque los agentes lograron batir récords, el autor destaca que, por ahora, su capacidad es más de iteración y combinación de métodos conocidos que de invención genuinamente disruptiva, proponiendo un futuro basado en sistemas multi-agente supervisados por humanos para acelerar descubrimientos científicos.
Capítulos
- 0:15Introducción al concepto
- 0:40Por qué la investigación abierta
- 1:53La influencia de Andre Karpathy
- 3:09El concepto de Speedrun
- 3:36Diferencia entre Speedrun y optimización
- 5:39Entrenamiento de los agentes
- 6:50Infraestructura y validación
- 7:49Resultados observados
- 8:33Uso de memoria y scratchpad
- 10:23Comparativa de rendimiento
- 11:34Próximos pasos en benchmarks
- 12:54Análisis del progreso del agente
- 15:53Visión a futuro y sistemas multi-agente
- 18:55Conclusión sobre la investigación
Temas tratados
- Investigación autónoma en IA
- Recursive self-improvement
+5 temas más (contenido completo al seguir el canal)
Extracto de la transcripción
Hey um hi everyone. Uh thanks for being here. Uh yeah, I'm super happy today to talk about uh automated eye research and uh especially uh all those like frontier model uh perform at uh automated eye research task. Um so I'm Elie. I worked at Prime Intellect as a research engineer and uh yeah I will go through our work on on this subject. So first I want to basically explain a bit why we are doing that and why we think it's super important to do that in the open. Um so first uh I think we we all agree that uh we've heard about like big labs saying that this bad thing called recursive self-improvement is coming very soon. Uh so recursive self-improvement is like model training models uh without uh human intervention basically. Um but uh we don't have any benchmark to basically quantify if this is true or not right. Uh and even less we don't have like a third party benchmark by non- big lab…