Red Hat lanza la comunidad llm-d para impulsar la inferencia distribuida de IA generativa a escala
Red Hat ha anunciado el lanzamiento de llm-d, una nueva iniciativa de código abierto para la inferencia de inteligencia artificial generativa a gran escala. Esta plataforma nace con el objetivo de que la IA generativa en producción alcance la misma ubicuidad que logró Linux en el ámbito de la infraestructura tecnológica.
Creado en colaboración con CoreWeave, Google Cloud, IBM Research y NVIDIA, el proyecto también cuenta con el respaldo de destacados actores del sector como AMD, Cisco, Hugging Face, Intel, Lambda y Mistral AI, así como el apoyo académico de la Universidad de California, Berkeley, y la Universidad de Chicago.
Así, la empresa pretende dar respuesta a la inferencia eficiente y escalable: el proceso de aplicar un modelo entrenado para generar resultados útiles. Según Gartner, para 2028 más del 80% de los aceleradores de data centers se destinarán a tareas de inferencia, no de entrenamiento, lo que destaca la urgencia de soluciones como llm-d.
Este código aprovecha la potencia de orquestación de Kubernetes, junto con tecnologías avanzadas como vLLM —ya considerado el servidor de inferencia estándar en el ámbito de código abierto— y LMCache para gestionar cachés de memoria de manera más eficiente y económica.
Red Hat destaca que entre las principales capacidades del código se encuentran la separación de fases prefill y decode para mejor districuición de tareas. Otra característica es la descarga de caché KV hacia almacenamiento estándar para liberar memoria GPU. Los clústeres inteligentes del llm-d ajustan recursos según la carga de trabajo. Además, el enrutamiento de red con conciencia de AI, que optimiza las peticiones hacia servidores con cachés precalentadas y, las APIs de alto rendimiento para acelerar la transferencia de datos, incluyendo soporte para la biblioteca NIXL de NVIDIA.
A través de comunicado, Red Hat informa que con llm-d esperan convertir vLLM y su arquitetura distribuida en el nuevo estándar abierto para la inferencia de IA en la nube híbrida, al igual que lo fue Linux para los sistemas operativos empresariales.
Para Brian Stevens, senior vice presidente y CTO en Red Hat, “llm-d representa un hito clave para hacer viable la adopción empresarial de IA generativa”.
(datacenterdynamics.com)
Les estaremos informando con mucho más detalle, en el marco del informe especial: “Arquitecturas de IA, Machine Learning, Deep Learning, Gemelos digitales y Soluciones de valor de Cloud Computing con innovadores modelos de negocio, soluciones de IOT, IOTI, soluciones de Automatización. Ciberseguridad, Infraestructura de conectividad: redes LAN, Wifi. Buenas prácticas corporativas.», que estamos preparando para nuestra edición 214 y publicaremos en el mes de junio.
Mantente conectado a nuestra revista Channel News Perú, haciendo clic aquí y suscribiéndote a nuestro newsletter para contenido de valor diario.
