¿Por qué usar agentes para programar es tan caro?

CodelyTV - Redescubre la programación

Resumen

El vídeo explica por qué el uso de agentes de IA para programar puede resultar inesperadamente costoso. A través de un análisis del panel de control de herramientas como Cursor, se desglosan los cuatro componentes que dictan el precio de las peticiones: tokens de entrada, salida, caché y gestión de contexto. Se detalla cómo el sistema añade automáticamente 'System Prompts', herramientas y memoria del proyecto a cada interacción, lo que infla el consumo de tokens. Además, se aborda la naturaleza 'stateless' de las APIs, lo que provoca que cada nueva pregunta arrastre todo el historial previo, aumentando progresivamente el coste. Finalmente, se destaca la importancia de optimizar los archivos de configuración (como .agents.md) para evitar llamadas a herramientas innecesarias y reducir el gasto total.

Capítulos

  1. 0:02Introducción a los costes de agentes
  2. 0:10Análisis del panel de consumo
  3. 0:51Los cuatro componentes de costes
  4. 1:35Definición de tokens de input y output
  5. 2:01Simulación de una petición
  6. 3:06La carga oculta del system prompt
  7. 4:37Contexto estático frente al dinámico
  8. 5:30Cálculo del coste de salida
  9. 6:11El problema de las APIs stateless
  10. 7:33Compactación del historial para ahorrar
  11. 8:33Por qué la primera petición es cara
  12. 9:11El coste oculto de las llamadas a herramientas
  13. 10:31Optimización mediante .agents.md
  14. 10:58Conclusión y recursos del curso

Temas tratados

  • Costes ocultos en agentes de programación
  • Componentes de precio de los LLM
  • Tokens de entrada vs salida
  • El papel del contexto estático y dinámico
  • Arquitectura stateless y acumulación de costes
  • Optimización mediante el archivo .agents.md
  • Redundancia en llamadas a herramientas

Extracto de la transcripción

Ya programas en tu día a día con agentes o quieres que tu equipo lo empiece a utilizar, pero antes de eso necesitas entender los costes. Es decir, aquí por ejemplo, este es el panel de cursor, pero podría servir para cualquier otro tipo de agente, sea Cloud Code o Visual Studio Code con GitHub Copilot, porque los conceptos son los mismos. Entonces, aquí estamos viendo que me he fundido los $20 que me vienen incluidos en el plan mensual en todos días y que además tenemos un consumo de $800. Esto al final nos lo desglosa en cada una de las peticiones y vemos como la última que he hecho justamente ahora antes de empezar a grabar ha consumido 9,000 tokens. Rafa, esta petición ha sido una petición muy tonta que le he dicho, "Oye, cambia este texto de este copy. No le he dado tantos tokens, ¿cómo es que ha consumido tanto?" Una petición no es una petición, es un conjunto de cosas que pasan por…