Logran correr un modelo abierto de 753.000 millones de parámetros en GPUs H100, con costos hasta 10 veces menores que las APIs comerciales

Un equipo de IBM Research y Red Hat demostró que es posible servir modelos de inteligencia artificial de escala «frontera» —los más grandes y capaces disponibles hoy— usando hardware que muchas empresas ya tienen instalado, en lugar de depender exclusivamente de los chips más recientes o de APIs comerciales de pago por token. El hallazgo tiene implicancias directas para organizaciones de cualquier región, incluida América Latina, donde el acceso a GPUs de última generación suele ser limitado o costoso.

El problema: los agentes de IA consumen infraestructura de forma distinta

El artículo, publicado en el blog de IBM Research, parte de un diagnóstico técnico: los sistemas de IA «agénticos» —como los asistentes de programación que ejecutan tareas de forma autónoma— generan patrones de tráfico muy diferentes a los de un chatbot tradicional. En lugar de producir respuestas largas, estos agentes leen y reprocesan una y otra vez contextos enormes (por ejemplo, repositorios completos de código), y además disparan ráfagas impredecibles de actividad cuando coordinan subagentes en paralelo.

Según datos de un estudio previo citados en la publicación, una solicitud típica de un agente de código puede incluir alrededor de 195.000 tokens de entrada pero generar apenas 317 tokens de respuesta. Es decir, el verdadero cuello de botella no está en «escribir» texto, sino en procesar contexto repetidamente. El análisis también encontró que en el 96% de los casos, los agentes principales reutilizaban al menos el 90% del contenido de una solicitud anterior, lo que vuelve crítico poder reciclar cálculos ya hechos en lugar de rehacerlos.

La solución: llm-d, un framework de código abierto

Para abordar este desafío, IBM Research, Red Hat y Google lideran el desarrollo de llm-d, un proyecto de código abierto —hoy alojado como proyecto «sandbox» de la Cloud Native Computing Foundation (CNCF)— pensado para servir modelos de lenguaje de gran escala de forma eficiente en infraestructura propia.

En esta demostración, el equipo desplegó GLM-5.2, un modelo abierto de aproximadamente 753.000 millones de parámetros (con unos 39.000 millones activos por inferencia, bajo arquitectura de «mezcla de expertos»), sobre 544 GPUs NVIDIA H100. Es un dato relevante porque las H100 no son el chip más nuevo del mercado —ya conviven con las H200 y las Blackwell— sino un acelerador de generación anterior, ampliamente distribuido en centros de datos empresariales y en la nube.

El sistema alcanzó picos de más de 6,6 millones de tokens de salida por minuto, sirviendo hasta 3.000 agentes de programación concurrentes sin interrupciones ni fallas de servicio. Según los cálculos del equipo, alojar el modelo de esta manera resulta entre 5 y 10 veces más económico por token que recurrir a una API comercial equivalente, con el mayor ahorro justamente en las cargas de trabajo con mucho texto de entrada, típicas de los agentes.

Cómo lo logran: seis técnicas combinadas

El rendimiento no depende de un solo truco, sino de la combinación de seis capacidades técnicas:

• Enrutamiento consciente de prefijos, que dirige cada solicitud al servidor que ya tiene en caché el contexto correspondiente, evitando reprocesarlo desde cero.
• Gestión de caché por niveles, que extiende la memoria útil hacia la RAM de la CPU cuando la memoria de la GPU se satura.
• Uso compartido de caché entre pares (peer-to-peer), para recuperar contexto ya calculado en otro servidor en lugar de recomputarlo.
• Paralelismo de expertos distribuido con atención de datos paralela, que permite repartir un modelo tan grande entre múltiples nodos.
• Separación de las etapas de «prefill» y «decode» (procesamiento de contexto y generación de texto), que se escalan de forma independiente según la demanda.
• Predicción de múltiples tokens (MTP), que genera varios tokens de salida por cada pasada del modelo, acelerando la generación.

En pruebas específicas, el cambio de un enrutamiento aproximado a uno de coincidencia precisa de prefijos elevó el rendimiento en un 79% y redujo en un 67% el tiempo hasta la primera respuesta. En conjunto, el sistema logró servir el 85,2% de los tokens de entrada desde algún nivel de caché, dejando solo un 14,8% de procesamiento «en frío».

Carlos Costa, ingeniero distinguido de IBM Research y mantenedor de llm-d, explicó que el objetivo era cerrar la brecha para un modelo de este tamaño en una infraestructura común y de generación previa. Por su parte, Nili Guy, del equipo de IBM Research, señaló que estos resultados no representan un techo, sino una base de referencia que seguirá mejorando a medida que evolucione el software.

Por qué importa para mercados como América Latina

El punto central del anuncio no es únicamente el logro técnico, sino su implicancia estratégica: demuestra que operar modelos abiertos de tamaño «frontera» no exige necesariamente comprar el hardware más nuevo del mercado. Para empresas, universidades o proveedores de nube en regiones donde renovar infraestructura de GPU es más lento o costoso —como suele ocurrir en América Latina—, esto abre una alternativa concreta: exprimir mejor el hardware ya instalado mediante software de orquestación más eficiente, en lugar de depender exclusivamente de APIs comerciales facturadas por token o de esperar la próxima generación de chips.

llm-d es un proyecto de código abierto, con guías de despliegue y configuraciones ya validadas, disponible en llm-d.ai.

Seguiremos brindándote más información sobre este tema en las siguientes presentaciones físicas y digitales de Channel News Perú

Mantente conectado a nuestra plataforma de negocios y revista, haciendo clic aquí y suscribiéndote a nuestro newsletter para contenido de valor diario