Teaching AI to Find Real Vulnerabilities — David Brumley, Bugcrowd

AI Engineer

Resumen

El vídeo aborda cómo enseñar a la inteligencia artificial a encontrar y explotar vulnerabilidades de ciberseguridad mediante el aprendizaje por refuerzo. David Brumley, profesor de Carnegie Mellon y Chief AI Officer en Bugcrowd, explica que el objetivo es que las máquinas puedan verificar programas a escala y velocidad. Compara el aprendizaje humano (ejemplificado con un joven hacker que ganó Pwn2Own) con el diseño de entornos de IA, destacando la importancia de escalar la dificultad del objetivo y la explotación. Crítica los benchmarks actuales por detener el aprendizaje de la IA en la vulnerabilidad más fácil y propone la "tarea de auditoría" para abordar múltiples vulnerabilidades con métricas de precisión y recall. Muestra cómo se evalúan modelos de IA en objetivos de alto valor como Chrome V8, demostrando que algunos modelos pueden lograr la ejecución arbitraria de código. Finalmente, presenta ExploitBench.ai, una plataforma para acceder a entornos de prueba y fomentar la colaboración.

Capítulos

  1. 0:12Introducción al hacking con IA
  2. 1:19Historia de un joven hacker exitoso
  3. 4:55Hacking como una "escalera" de aprendizaje
  4. 5:22Descubrimiento de vulnerabilidades y oráculos
  5. 6:55Componentes de entornos de aprendizaje por refuerzo
  6. 10:02El problema de las múltiples vulnerabilidades en benchmarks
  7. 13:43La tarea de auditoría: un nuevo enfoque
  8. 17:23Evaluación de modelos en objetivos de alto valor
  9. 19:33El desafío de Chrome V8 y su explotación
  10. 21:09Resultados de modelos de IA en V8
  11. 22:47Evidencia de aprendizaje genuino, no memorización
  12. 24:31ExploitBench.ai y el dilema ético
  13. 25:24Próximos pasos y descubrimiento de zero-days
  14. 26:32Conclusiones sobre el entrenamiento en ciberseguridad

Temas tratados

  • Aprendizaje por Refuerzo para Ciberseguridad
  • Enseñanza de Hacking a IA y Humanos

+6 temas más (contenido completo al seguir el canal)

Extracto de la transcripción

All right, everybody. We're going to talk about hacking. I love hacking. We have a very small audience here, so I assume everyone here loves hacking as well. So, I want to talk about designing reinforcement learning environments for cybersecurity tasks. Essentially, we all want to teach computers to hack because well, we're pushing out programs faster than other ever and so we need to be able to check them at machine speeds in scale. And this has been my research project for well over two decades. My name is David Brumley. I am a full professor at Carnegie Mellon University where I work on AI and cybersecurity. And I'm also chief AI and science officer at Bugcrowd where I work on data partnerships. So, before I talk about what we do and how we do it and why it's important to design cybersecurity tasks correctly for reinforcement learning environment, I want to start off with how humans l…