Adiós a la limitación de Kafka: Más de un consumer por partición
CodelyTV - Redescubre la programación
Resumen
El vídeo explica cómo superar la limitación tradicional de Kafka donde solo un consumidor podía leer de una partición. Se detalla cómo, al utilizar un mismo 'group ID', se pueden levantar múltiples instancias de consumidores que Kafka balancea automáticamente. Se muestra una demostración práctica usando una herramienta de visualización, analizando la configuración por código, el papel de la reflexión para gestionar suscriptores y la capacidad de escalar horizontalmente aumentando el número de procesos por grupo.
Capítulos
- 0:02Introducción a la escalabilidad
- 0:31Visualización del estado actual
- 0:35Levantando el primer consumidor
- 0:55Inicio del escalado horizontal
- 1:45Rebalanceo automático explicado
- 2:06Problemas con el particionado por tipo de evento
- 3:06Identificando el fichero de configuración
- 3:34Configurando el Group ID
- 4:26Estructura de las clases Domain Share Group
- 5:52Mecanismo de unión al grupo
- 6:40Parametrización del número de consumidores
- 6:50Ejecución masiva de consumidores
- 7:16Observación del escalado final
- 7:40Conclusiones del comportamiento de los suscriptores
- 8:15Próximos pasos
Temas tratados
- Escalabilidad de consumidores en Kafka
- Rebalanceo automático de Kafka
- Funcionamiento de Consumer Groups
- Uso de Group ID para agrupación
- Visualización del consumo de eventos
- Configuración dinámica de instancias
- Estrategias de particionado según eventos
Extracto de la transcripción
Históricamente ha habido una limitación en Kafka que es que como mucho podíamos levantar un consumidor para una determinada partición. Por eso era tan crítica la estrategia de particionado de los topics, etcétera, etcétera. A día de hoy con Kafkes, esto ya no es así. Correcto. Podemos tener más de un consumidor por una misma partición, cosa que hace que es podamos escalar mucho más y si se nos encola el topic porque hay un montón de eventos, pues levantamos consumidores y lo consumimos de allí. Venga, implementación a topísimo. Vale, pues tenemos nuestro visualizador y vemos que tenemos los consumidores parados, así que lo primero que vamos a hacer levantarlo. Le damos aquí al play y ahora cuando esto llegue a su clásico 94% significa que ya está empezando a consumir. Por lo tanto, ahora ha levantado el consumer group. Entonces, si venimos aquí cuando haga el siguiente refresh, vemos que…