Benchmark impresionante: 1.6 millones de mensajes por segundo a 4000 clientes con solo 4 núcleos y 8 GiB de RAM

En el mundo actual, donde la velocidad y eficiencia en la transmisión de datos son esenciales, la capacidad de procesar grandes volúmenes de información en tiempo real se ha convertido en una prioridad para empresas y desarrolladores. Kafka es una de las plataformas líderes para el manejo de flujos masivos de datos, pero a medida que crece el número de clientes y demandas de filtrado específicos, la carga sobre la red y los sistemas puede volverse inmanejable. Aquí es donde entra en juego el Lightstreamer Kafka Connector, una solución diseñada para optimizar el filtrado y entrega de mensajes de Kafka con una eficiencia inigualable. En un benchmark reciente, esta tecnología alcanzó un rendimiento de 1.6 millones de mensajes por segundo dirigidos a 4000 clientes simultáneos, todo ello utilizando una configuración modesta de hardware con solo cuatro núcleos y 8 GiB de RAM.

Este logro no solo demuestra la potencia del sistema, sino que también abre nuevas posibilidades en escenarios donde los recursos son limitados pero la demanda es alta. El procesamiento tradicional de mensajes en sistemas con Kafka presenta el desafío de filtrar la información según las necesidades específicas de cada cliente. Sin este filtrado eficiente, todos los datos fluyen hacia todos los consumidores, generando un uso excesivo del ancho de banda, mayores latencias y sobrecarga en los clientes, quienes deben hacer todo el esfuerzo de descartar lo que no les interesa. La innovación fundamental del Lightstreamer Kafka Connector reside en su mecanismo de filtrado en el servidor, que envía solo los mensajes relevantes basados en criterios personalizados de cada cliente. Esto optimiza no solo el tráfico de red, sino también la capacidad de procesamiento del cliente, ofreciendo una mejor experiencia con menor consumo de recursos.

Para contextualizar el rendimiento logrado, es imprescindible entender el entorno del benchmark. El servidor utilizado para la prueba contaba con un procesador de cuatro núcleos y 8 GiB de RAM, una configuración bastante modesta comparada con las infraestructuras habituales en grandes centros de datos. Aun así, el sistema fue capaz de soportar una carga masiva de mensajes con excelente estabilidad y latencia reducida. La plataforma Kafka consumía los mensajes a través de cuatro particiones, con productores generando flujos desde decenas hasta cientos de miles de mensajes por segundo. Los resultados fueron sorprendentes: un throughput sostenido de 1.

6 millones de mensajes entregados en tiempo real a 4000 clientes concurrentes. El proceso de filtrado ejercido no solo fue efectivo en escenarios con mensajes con claves simples, sino que también se sometió a pruebas bajo circunstancias de alta complejidad. Por ejemplo, en casos en que las claves de mensaje eran objetos JSON profundamente anidados, con criterios de filtrado basados en campos específicos dentro de estructuras complejas. Estas pruebas demostraron la aptitud del sistema para adaptarse a necesidades de filtrado avanzadas, donde la deserialización y evaluación eran computacionalmente intensivas, y donde la capacidad para utilizar múltiples hilos de procesamiento (multithreading) resultó decisiva para mantener el rendimiento y la baja latencia. El uso de multihilos permitió distribuir de manera eficiente la carga de trabajo en los núcleos disponibles, evitando cuellos de botella y aumentando el paralelo procesamiento de mensajes.

Esto fue evidente especialmente cuando la complejidad de filtrado aumentaba, ya que el sistema necesitaba realizar inspecciones minuciosas de los datos para decidir qué mensajes enviar a cada cliente. En estos casos, el enfoque multihilo mantuvo latencias inferiores a 10 milisegundos, mientras que sin esta estrategia la latencia podía incrementarse por encima de los 100 milisegundos, un valor poco aceptable para aplicaciones que requieren inmediatez como monitoreo de mercado o análisis en tiempo real. Además del rendimiento y latencia, otro aspecto importante evaluado fue el consumo de CPU durante las pruebas. Con un enfoque single-threaded (un solo hilo), se observó un uso de CPU que saturaba un núcleo alrededor del 25%, imposibilitando el manejo eficiente de cargas más pesadas. Sin embargo, al implementar la versión multihilo con cuatro hilos, el sistema balanceó la utilización de CPU entre los cuatro núcleos, manteniendo un nivel de uso general más equilibrado y permitiendo una escalabilidad efectiva.

La escalabilidad también fue puesta a prueba mediante la simulación de una gran cantidad de clientes concurrentes. En estas pruebas se simuló hasta 12,000 conexiones simultáneas, cada una con sus propias suscripciones y criterios de filtrado. A pesar de este escenario altamente concurrido, el sistema mantuvo un rendimiento fluido con latencias estables y sin acumulación de retrasos. Este comportamiento es crítico en entornos de producción donde los clientes pueden variar desde aplicaciones webs hasta dispositivos IoT con necesidades heterogéneas. Todo este desempeño fue logrado en infraestructuras basadas en la nube de AWS, utilizando instancias tipo c7i.

xlarge para el servidor Lightstreamer, c7i.2xlarge para clientes simulados y la instancia t2.small para medidas precisas de latencia y generación de mensajes de testeo. Esta demostración de eficacia en recursos relativamente limitados es especialmente atractiva para empresas que buscan maximizar su inversión en hardware, evitando costos innecesarios y al mismo tiempo garantizando servicios de datos de alta velocidad y confiabilidad. Otra fortaleza del Lightstreamer Kafka Connector reside en la facilidad de configuración y adaptabilidad a diversas arquitecturas Kafka.

El sistema permite definir reglas y plantillas para el mapeo de tópicos, campos y criterios de filtrado a través de configuraciones flexibles, simplificando la integración en entornos complejos y garantizando la entrega personalizada de información. Su compatibilidad con los formatos JSON usuales en Kafka y con Claves simplificadas o extensas contribuye a esta flexibilidad, siendo capaz de atender desde escenarios básicos hasta los más sofisticados. El análisis de latencia, medido desde la creación del mensaje en el productor hasta la recepción en el cliente, arrojó valores consistentemente bajos, generalmente por debajo de 10 milisegundos. Esto es esencial para casos donde los datos deben reflejarse casi instantáneamente, como en sistemas financieros, monitoreo de sensores o interfaces interactivas. Valores máximos registrados, aunque poco frecuentes, también se mantuvieron dentro de límites aceptables para no afectar la experiencia de usuario.