Intel avanza con Project Battlematrix y lanza actualización clave de software para GPUs Arc Pro B-series
Intel anunció el lanzamiento de la versión 1.0 del contenedor LLM Scaler, parte de su iniciativa Project Battlematrix, presentada en mayo con el objetivo de facilitar la adopción de GPUs Intel Arc Pro B-series y fortalecer su estrategia en inteligencia artificial e inferencia de modelos.
El nuevo stack de software está optimizado para entornos Linux y pensado para ofrecer un rendimiento de inferencia escalable con soporte multi-GPU, transferencias de datos PCIe P2P, y funciones de nivel empresarial como ECC, SR-IOV, telemetría y actualizaciones remotas de firmware.
Entre las mejoras de esta versión destacan:
- Optimización de rendimiento en vLLM para secuencias largas (hasta 4.2x de mejora en modelos de 70B parámetros con secuencias de 40K tokens).
- Incremento de ~10% en throughput para modelos de 8B a 32B parámetros.
- Cuantización en línea por capa para reducir el uso de memoria GPU.
- Soporte experimental para pipeline parallelism,
torch.compile, speculative decoding y modelos multi-modales. - Compatibilidad con modelos de embedding y rerank.
- Auto-detección de longitud máxima y soporte para data parallelism.
Además, el XPU Manager incorpora funciones avanzadas como monitoreo de consumo energético, actualizaciones de firmware, diagnósticos y medición de ancho de banda de memoria GPU.
Intel planea lanzar una versión “hardened” de LLM Scaler con funciones adicionales hacia finales del Q3 y una versión con el conjunto completo de características en el Q4.
Les estaremos informando con mucho más detalle, en el marco del informe especial: “Soluciones y productos de infraestructura para edificios y ciudades inteligentes (Sistemas BIM y BMS), POL (Passive Optical LAN). Seguridad integrada, video vigilancia y control de acceso. Casos de uso y aplicabilidad de cada solución y producto, incluyendo la colaboración digital (relacionado a realidad virtual sistema BIM) (Gemelos digitales). Buenas prácticas ambientales.», que estamos preparando para nuestra edición 216 y publicaremos en el mes de agosto.
Mantente conectado a nuestra revista Channel News Perú, haciendo clic aquí y suscribiéndote a nuestro newsletter para contenido de valor diario.
