llm-d 1.0 refuerza la inferencia de IA de código abierto para las operaciones de producción en curso
IBM, Red Hat, Google Cloud, CoreWeave y NVIDIA anunciaron el lanzamiento de llm-d 1.0, un proyecto de código abierto diseñado para ayudar a las organizaciones a desplegar y escalar la inferencia de modelos de lenguaje de gran tamaño en distintas infraestructuras, según un comunicado de prensa.
El proyecto, fundado en 2025 y actualmente gobernado por la Cloud Native Computing Foundation, cuenta con más de 500 colaboradores de más de 25 organizaciones. La versión 1.0 introduce capacidades de calidad de servicio multiusuario, operaciones sin tiempo de inactividad —incluyendo alta disponibilidad del enrutador con modo de espera activo y actualizaciones progresivas—, así como una API de configuración v1.
El software aborda los desafíos de infraestructura a los que se enfrentan las organizaciones al ejecutar inteligencia artificial a gran escala, especialmente para cargas de trabajo agénticas que acceden y reutilizan grandes cantidades de contexto mientras dan soporte a agentes en paralelo. La versión incluye funciones como control de flujo con prioridad y equidad, enrutamiento con reconocimiento de sesión y programación por prioridad de turno.
IBM Research informó que utiliza llm-d con modelos de frontera abiertos para hardware de corrección de errores cuánticos, con un coste de servicio combinado de aproximadamente 0,11 dólares por millón de tokens y una tasa de aciertos de caché de prefijos de aproximadamente el 98%. En una demostración independiente, los investigadores desplegaron GLM 5.2, un modelo de aproximadamente 753.000 millones de parámetros, en GPUs de NVIDIA, generando más de 6,6 millones de tokens de salida por minuto en el pico máximo, mientras atendía hasta 3.000 agentes de codificación simultáneos.
El software es compatible con múltiples servidores de modelos, incluidos vLLM y SGLang, y ofrece capacidades como enrutamiento con reconocimiento de caché de prefijos y carga, descarga de caché KV y desagregación de prefill/decode.
Entre las organizaciones que ya utilizan llm-d se encuentra DigitalOcean, que lo emplea para su Inferencia sin Servidor y Agentes Gestionados que procesan billones de tokens, y JetBrains, que lo ejecuta en producción para su plan Junie Lite. Mistral, Roblox y Cohere también informaron de despliegues.
Google Cloud indicó que está integrando llm-d 1.0 en Google Kubernetes Engine en toda su cartera de TPUs de Google y GPUs de NVIDIA.
(investing.com)
Seguiremos brindándote más información sobre este tema en las siguientes presentaciones físicas y digitales de Channel News Perú
Mantente conectado a nuestra plataforma de negocios y revista, haciendo clic aquí y suscribiéndote a nuestro newsletter para contenido de valor diario
