Adiós a la limitación de Kafka: Más de un consumer por partición
CodelyTV - Redescubre la programación
Summary
El vídeo explica cómo superar la limitación tradicional de Kafka donde solo un consumidor podía leer de una partición. Se detalla cómo, al utilizar un mismo 'group ID', se pueden levantar múltiples instancias de consumidores que Kafka balancea automáticamente. Se muestra una demostración práctica usando una herramienta de visualización, analizando la configuración por código, el papel de la reflexión para gestionar suscriptores y la capacidad de escalar horizontalmente aumentando el número de procesos por grupo.
Topics covered
- Escalabilidad de consumidores en Kafka
- Rebalanceo automático de Kafka
- Funcionamiento de Consumer Groups
- Uso de Group ID para agrupación
- Visualización del consumo de eventos
- Configuración dinámica de instancias
- Estrategias de particionado según eventos
Transcript excerpt
Históricamente ha habido una limitación en Kafka que es que como mucho podíamos levantar un consumidor para una determinada partición. Por eso era tan crítica la estrategia de particionado de los topics, etcétera, etcétera. A día de hoy con Kafkes, esto ya no es así. Correcto. Podemos tener más de un consumidor por una misma partición, cosa que hace que es podamos escalar mucho más y si se nos encola el topic porque hay un montón de eventos, pues levantamos consumidores y lo consumimos de allí. Venga, implementación a topísimo. Vale, pues tenemos nuestro visualizador y vemos que tenemos los consumidores parados, así que lo primero que vamos a hacer levantarlo. Le damos aquí al play y ahora cuando esto llegue a su clásico 94% significa que ya está empezando a consumir. Por lo tanto, ahora ha levantado el consumer group. Entonces, si venimos aquí cuando haga el siguiente refresh, vemos que…