Supermicro, IBM y NVIDIA presentaron una solución de almacenamiento persistente de caché KV para acelerar la inferencia de IA
Supermicro anunció una nueva solución de almacenamiento de caché KV (clave-valor) desarrollada junto con IBM y NVIDIA. El comunicado se difundió el 5 de noviembre de 2026. Futurum, que analizó el lanzamiento, lo fecha el 4 de noviembre.
El problema: recalcular lo ya calculado
Cada vez que un modelo de lenguaje procesa un prompt, genera estados intermedios que le permiten entender el contexto. La solución guarda esos estados en almacenamiento persistente para reutilizarlos en solicitudes posteriores, en lugar de recalcular el mismo contexto. Ese estado puede reaprovecharse en el siguiente turno de una conversación, en el siguiente paso de un agente o en cualquier solicitud que comparta el mismo contexto.
El problema se agrava con ventanas de contexto cada vez más extensas y con la inferencia de IA agéntica, donde los mismos datos se consultan una y otra vez.
Qué incluye la solución
La arquitectura integra los servidores de almacenamiento all-flash Supermicro Petascale con procesadores AMD EPYC 9005, el software IBM Storage Scale, el framework de inferencia NVIDIA Dynamo y las redes Ethernet NVIDIA Spectrum-X. Según Futurum, también interviene BlueField-3 de NVIDIA.
El material técnico de referencia describe una jerarquía de cinco niveles de caché en Dynamo: memoria HBM, DRAM del sistema, NVMe local, flash agrupado mediante el appliance CMX de NVIDIA y almacenamiento empresarial compartido, donde la información puede persistir de días a meses. La propuesta de las tres compañías apunta a este último nivel.
Los números
En pruebas de Supermicro y NVIDIA con un modelo de 120.000 millones de parámetros, la caché persistente logró un tiempo hasta el primer token (TTFT) hasta 56 veces menor con prompts de 130.000 tokens. Al pasar de 30.000 a 130.000 tokens de entrada, el TTFT aumentó 0,377 segundos con caché KV, frente a 29,55 segundos sin ella. Futurum añade que las pruebas conjuntas arrojaron además un rendimiento 22 veces mayor.
Las compañías indican que el sistema se evaluó a nivel de clúster, incluidos escenarios de alta concurrencia y tráfico de red de «vecino ruidoso». También destacan que una caché persistente y de alta disponibilidad protege el estado de inferencia almacenado y permite el acceso compartido entre nodos y clústeres de GPU.
La visión de los socios
Sam Werner, director general de IBM Storage, sostuvo que la colaboración busca ayudar a los clientes a aprovechar al máximo su inversión en GPU, escalar de forma independiente del cómputo y mejorar de forma significativa la eficiencia de la infraestructura.
Una lectura con matices
Los resultados provienen de pruebas de los propios fabricantes. En el banco de pruebas detallado por StorageReview, la configuración incluyó ocho nodos de almacenamiento Supermicro y una sola GPU NVIDIA RTX PRO 6000 Blackwell. Es decir, la cifra de 56x corresponde a un escenario concreto, con prompts muy largos, donde el beneficio de reutilizar contexto es máximo. En cargas con prompts cortos o poco repetitivos, la mejora sería menor.
El enfoque compite en el mismo terreno que la aceleración de caché KV integrada con Dynamo de DDN, con la diferencia de que esta pila se apoya en servidores Supermicro estándar y Ethernet bajo el sistema de archivos de IBM.
Por qué importa
Para las empresas que operan IA a escala, el costo de la inferencia depende tanto del uso de GPU como de cuánto trabajo se repite innecesariamente. Si la caché se convierte en un nivel de almacenamiento propio, escalable por separado del cómputo, cambia la forma de dimensionar la infraestructura de IA, y coloca al almacenamiento como protagonista en una carrera que hasta ahora se disputaba casi solo en GPU.
Seguiremos brindándote más información sobre este tema en las siguientes presentaciones físicas y digitales de Channel News Perú
Mantente conectado a nuestra plataforma de negocios y revista, haciendo clic aquí y suscribiéndote a nuestro newsletter para contenido de valor diario
