Your LLM Stack Is a 2008 Database With Better Marketing — Lovina Dmello, NVIDIA

AI Engineer

Resumen

Lavina D'Mello de NVIDIA explica que la seguridad en la infraestructura de aprendizaje automático (ML) actual sufre de errores fundamentales, similares a los de hace décadas, en lugar de ser víctima de ataques exóticos de IA. La charla argumenta que hemos actualizado nuestras aplicaciones con LLMs, pero hemos mantenido configuraciones de seguridad obsoletas. El enfoque debe desplazarse hacia la higiene básica de infraestructura, como la gestión de identidades, la segmentación de redes y la protección de secretos, tratando los sistemas de ML como bases de datos críticas para evitar brechas prevenibles.

Capítulos

  1. 0:13Introducción y provocación inicial
  2. 1:02El caso de los clusters Ray
  3. 3:09Evolución de las asunciones de seguridad
  4. 4:50Tres ideas centrales de seguridad
  5. 5:37Mapa de los cuatro pilares defensivos
  6. 6:55Categorías de amenazas en ML
  7. 8:22Auditando fallos de configuración
  8. 10:36El costo de las defensas en producción
  9. 12:42Brechas de conocimiento y herramientas
  10. 14:38Implementando un modelo de madurez
  11. 15:38Cómo corregir las configuraciones críticas
  12. 17:24Perspectivas futuras y riesgos emergentes
  13. 18:59Conclusiones finales

Temas tratados

  • La falacia de los ataques de IA
  • Vulnerabilidad en clusters Ray

+6 temas más (contenido completo al seguir el canal)

Extracto de la transcripción

[music] >> Hi everyone. So, my name is Lavina D'Mello and I'm a senior software developer at Nvidia and I work on the deep learning infrastructure team. So, the title here is a bit of provocation. What I really mean and what I want you to leave with is uh for the next 15 minutes, I'm going to make one uncomfortable argument, which is almost everything that is breaking in the production ML security isn't some exotic AI attack. It's the same boring infrastructure mistakes that we supposedly fixed years ago. So, now once uh you look across the research from the whole field, the pattern is very easy, like it's very difficult to unsee. Let me start with a story. So, into in 2023, security researchers went looking at Ray clusters. And Ray is one of the most popular framework for distributed ML. So, what they found out over there was there were thousands of clusters that were sitting open on th…