Por qué usar agentes para programar es tan caro

CodelyTV - Redescubre la programación

Summary

The video explains why using AI agents for programming can be unexpectedly expensive. Through an analysis of tool dashboards like Cursor, it breaks down the four components that dictate the price of requests: input, output, cache, and context management tokens. It details how the system automatically adds 'System Prompts', tools, and project memory to each interaction, which inflates token consumption. Additionally, it addresses the 'stateless' nature of APIs, which causes every new question to carry over the entire previous history, progressively increasing the cost. Finally, it highlights the importance of optimizing configuration files (such as .agents.md) to avoid unnecessary tool calls and reduce total spending.

Chapters

  1. 0:00Understanding Agent Programming Costs
  2. 1:00LLM Cost Components Breakdown
  3. 2:00Simulation of Token Consumption
  4. 4:00System Prompts and Static Context
  5. 6:00Dynamic Context and Model Statelessness
  6. 9:00Impact of Tool Calls on Costs
  7. 11:00Optimizing Agent Performance and Costs

Topics covered

  • Hidden costs in programming agents
  • LLM pricing components
  • Input vs. output tokens
  • The role of static and dynamic context
  • Stateless architecture and cost accumulation
  • Optimization using the .agents.md file
  • Redundancy in tool calls

Transcript excerpt

Ya programas en tu día a día con agentes o quieres que tu equipo lo empiece a utilizar, pero antes de eso necesitas entender los costes. Es decir, aquí por ejemplo, este es el panel de cursor, pero podría servir para cualquier otro tipo de agente, sea Cloud Code o Visual Studio Code con GitHub Copilot, porque los conceptos son los mismos. Entonces, aquí estamos viendo que me he fundido los $20 que me vienen incluidos en el plan mensual en todos días y que además tenemos un consumo de $800. Esto al final nos lo desglosa en cada una de las peticiones y vemos como la última que he hecho justamente ahora antes de empezar a grabar ha consumido 9,000 tokens. Rafa, esta petición ha sido una petición muy tonta que le he dicho, "Oye, cambia este texto de este copy. No le he dado tantos tokens, ¿cómo es que ha consumido tanto?" Una petición no es una petición, es un conjunto de cosas que pasan por…