Teaching AI to Find Real Vulnerabilities — David Brumley, Bugcrowd

AI Engineer

Summary

El vídeo aborda cómo enseñar a la inteligencia artificial a encontrar y explotar vulnerabilidades de ciberseguridad mediante el aprendizaje por refuerzo. David Brumley, profesor de Carnegie Mellon y Chief AI Officer en Bugcrowd, explica que el objetivo es que las máquinas puedan verificar programas a escala y velocidad. Compara el aprendizaje humano (ejemplificado con un joven hacker que ganó Pwn2Own) con el diseño de entornos de IA, destacando la importancia de escalar la dificultad del objetivo y la explotación. Crítica los benchmarks actuales por detener el aprendizaje de la IA en la vulnerabilidad más fácil y propone la "tarea de auditoría" para abordar múltiples vulnerabilidades con métricas de precisión y recall. Muestra cómo se evalúan modelos de IA en objetivos de alto valor como Chrome V8, demostrando que algunos modelos pueden lograr la ejecución arbitraria de código. Finalmente, presenta ExploitBench.ai, una plataforma para acceder a entornos de prueba y fomentar la colaboración.

Chapters

  1. 0:00Introduction to Hacking Education
  2. 3:18Two Axes of AI Hacking
  3. 6:55Designing RL Hacking Environments
  4. 10:02Problems with Current Benchmarks
  5. 13:42The Audit Task Approach
  6. 17:21Exploiting High-Value Targets (V8)
  7. 21:02LLM Exploitation Results and Dilemma
  8. 25:24Future Work and Key Takeaways

Topics covered

  • Aprendizaje por Refuerzo para Ciberseguridad
  • Enseñanza de Hacking a IA y Humanos

+6 more topics (full content when you follow the channel)

Transcript excerpt

All right, everybody. We're going to talk about hacking. I love hacking. We have a very small audience here, so I assume everyone here loves hacking as well. So, I want to talk about designing reinforcement learning environments for cybersecurity tasks. Essentially, we all want to teach computers to hack because well, we're pushing out programs faster than other ever and so we need to be able to check them at machine speeds in scale. And this has been my research project for well over two decades. My name is David Brumley. I am a full professor at Carnegie Mellon University where I work on AI and cybersecurity. And I'm also chief AI and science officer at Bugcrowd where I work on data partnerships. So, before I talk about what we do and how we do it and why it's important to design cybersecurity tasks correctly for reinforcement learning environment, I want to start off with how humans l…