Data Quality Is the Compute Multiplier — Ari Morcos, DatologyAI

AI Engineer

Resumen

Ari Morcos, CEO de DatologyAI, presenta la calidad de los datos como el multiplicador de cómputo más infravalorado en el desarrollo de modelos de inteligencia artificial. En un contexto de creciente escasez y coste de hardware como las H100, Morcos argumenta que mejorar la calidad, diversidad y relevancia de los datos de entrenamiento permite obtener rendimientos superiores con una fracción del presupuesto de cómputo. A través de procesos de limpieza, curación y generación de datos sintéticos, demuestra cómo optimizar la señal por token, logrando que modelos más pequeños alcancen el desempeño de modelos masivos, permitiendo democratizar el acceso a modelos de frontera con inversiones significativamente menores.

Capítulos

  1. 0:15Introducción a la calidad de datos
  2. 0:46La crisis de escasez de cómputo
  3. 2:08Los datos como multiplicador
  4. 3:04Optimización del aprendizaje por token
  5. 4:11El proceso de limpieza y curación
  6. 5:19Estrategias de datos sintéticos
  7. 6:57Resultados en visión y lenguaje
  8. 9:14Impacto en modelos multilingües
  9. 11:46Transferencia de conocimiento interlingüístico
  10. 14:02El valor del mid-training
  11. 15:30Eficacia en casos de uso real
  12. 17:13Costo de modelos competitivos
  13. 17:45Conclusiones finales

Temas tratados

  • Cálculo de retorno de cómputo
  • La escasez de cómputo y tokens

+6 temas más (contenido completo al seguir el canal)

Extracto de la transcripción

Good morning everybody. My name is Ari Marcos. I'm the CEO and co-founder of Datlogy AI. Uh and really excited to kick off the data quality track uh today. Uh data quality is is what we live and breathe uh at Datlogy. It's all we think about. In fact, the company's name literally means the science or study of data. Um, so very excited to see the increasing excitement and interest in this area and a amazing lineup of talks uh today. So today I'm going to tell you about why data quality is a compute multiplier that we're all overlooking and where we can make massive gains by just working on better data. Um, we've seen that compute availability over the last six months has become extremely scarce and is only getting worse. We saw H100 prices reverse their several year-long drop which is normal for hardware and all of a sudden come up where now they're about 40% up from their lows um at the…