Intel demuestra rendimiento sólido en inferencia de inteligencia artificial

 10,590 Visitas Totales,  6 Visitas Hoy

MLCommons publicó los resultados de su prueba de rendimiento MLPerf Inference v3.1 para GPT-J, el modelo de lenguaje grande con 6 mil millones de parámetros, además de modelos de visión por computadora y procesamiento de lenguaje natural. Intel presentó resultados para los aceleradores Habana® Gaudi®2, procesadores Intel® Xeon® Scalable de 4ta generación y la serie Intel® Xeon® CPU Max. Los resultados demuestran el rendimiento competitivo de Intel en la inferencia de IA y refuerzan el compromiso de la empresa de hacer que la inteligencia artificial sea más accesible a gran escala en todo el espectro de cargas de trabajo de IA, desde el cliente y el edge hasta la red y la nube.

«Como se demostró en los resultados recientes de MLCommons, tenemos un sólido y competitivo portafolio de productos de inteligencia artificial diseñado para satisfacer las necesidades de nuestros clientes en cuanto a inferencia y entrenamiento de aprendizaje profundo de alto rendimiento y eficiencia, para el espectro completo de modelos de IA, desde los más pequeños hasta los más grandes, con un liderazgo en relación precio/rendimiento», señaló Sandra Rivera, vicepresidenta ejecutiva y gerente general del grupo de centros de datos e IA de Intel.

Por qué es importante

Sobre la base de la actualización de capacitación en IA de MLCommons de junio y los puntos de referencia de desempeño de Hugging Face que validan que Gaudi2 puede superar al H100 de Nvidia en un modelo de lenguaje de visión de vanguardia, los resultados de hoy refuerzan aún más que Intel ofrece la única alternativa viable a los H100 y A100 de Nvidia para las necesidades de cómputo de IA.

Cada cliente tiene consideraciones únicas, y Intel está llevando la inteligencia artificial a todas partes con productos que pueden abordar la inferencia y el entrenamiento en todo el espectro de cargas de trabajo de IA. Los productos de inteligencia artificial de Intel brindan a los clientes flexibilidad y opciones al elegir una solución de IA óptima según sus propios objetivos de rendimiento, eficiencia y costo, al tiempo que los ayudan a liberarse de ecosistemas cerrados.

Acerca de los resultados Habana Gaudí2: Los resultados de inferencia Habana Gaudi2 para GPT-J proporcionan una fuerte validación de su desempeño competitivo.

• El desempeño de inferencia Gaudi2 en GPT-J-99 y GPT-J-99.9 para consultas de servidor y muestras sin conexión es de 78,58 por segundo y 84,08 por segundo, respectivamente.
• Gaudi2 ofrece un rendimiento convincente en comparación con el H100 de Nvidia, con el H100 mostrando una ligera ventaja de 1.09x (en servidores) y 1.28x (fuera de línea) en rendimiento en relación con Gaudi2.
• Gaudi2 supera al A100 de Nvidia en 2.4x (servidor) y 2x (fuera de línea).
• La presentación de Gaudi2 empleó FP8 y alcanzó una precisión del 99,9% en este nuevo tipo de datos.

Con las actualizaciones de software de Gaudi2 lanzadas cada seis a ocho semanas, Intel espera seguir proporcionando mejoras de rendimiento y una cobertura de modelos ampliada en las pruebas de MLPerf.

Acerca de los resultados Intel Xeon

 Intel presentó los siete benchmarks de inferencia, incluido GPT-J, en procesadores Intel Xeon Scalable de 4ta generación. Estos resultados muestran un gran rendimiento para cargas de trabajo de inteligencia artificial de propósito general, que incluyen modelos de visión, procesamiento de lenguaje, traducción de voz y audio, así como los modelos de recomendación DLRM v2 y ChatGPT-J mucho más grandes. Además, Intel sigue siendo el único proveedor que presenta resultados públicos de CPU con software de ecosistema de aprendizaje profundo estándar en la industria.

• El procesador Intel Xeon Scalable de 4ta generación es perfecto para construir y desplegar cargas de trabajo de inteligencia artificial de propósito general utilizando los frameworks y bibliotecas de IA más populares. Para la tarea de resumen de 100 palabras de GPT-J de un artículo de noticias de aproximadamente 1,000 a 1,500 palabras, los procesadores Intel Xeon de 4ta generación realizaron resúmenes de dos párrafos por segundo en modo fuera de línea y un párrafo por segundo en modo de servidor en tiempo real.
• Por primera vez, Intel presentó los resultados de MLPerf para la serie Intel Xeon CPU Max, que proporciona hasta 64 gigabytes (GB) de memoria de alto ancho de banda. Para GPT-J, fue el único CPU capaz de lograr una precisión del 99.9%, lo cual es crítico para aplicaciones en las que la máxima precisión es de suma importancia para el rendimiento.
• Intel colaboró con sus clientes fabricantes de equipos originales (OEM) para presentar sus propias contribuciones, demostrando aún más la escalabilidad del rendimiento de la inteligencia artificial y la amplia disponibilidad de servidores de propósito general alimentados por procesadores Intel Xeon que pueden cumplir con los acuerdos de nivel de servicio (SLAs) de los clientes.

Qué sigue

MLPerf, generalmente considerado como el punto de referencia de mayor reputación para el desempeño de IA, permite comparaciones de rendimiento justas y repetibles. Intel anticipa presentar nuevos resultados de desempeño de entrenamiento de IA para el próximo análisis de referencia de MLPerf. Las actualizaciones de rendimiento en curso demuestran el compromiso de Intel de apoyar a los clientes y abordar cada nodo del continuo de la inteligencia artificial: desde procesadores de IA económicos hasta aceleradores de hardware de IA de alto rendimiento y GPUs para clientes en la red, la nube y la empresa.

Les estaremos informando con mucho más detalle, en el marco del informe especial: “Soluciones de valor de Cloud Computing y Arquitecturas de IA, Machine Learning, Deep Learning, con innovadores modelos de negocio, soluciones de IOT, soluciones de Automatización del hogar y soluciones de automatización de oficina. Infraestructura física, Cableado y gestión de cableado estructurado, infraestructura de conectividad: redes LAN, Wifi, etc y Buenas prácticas corporativas”, que estamos preparando para nuestra edición 205 y publicaremos en el mes de septiembre.

Mantente conectado a nuestra revista Channel News Perú, haciendo clic aquí y suscribiéndote a nuestro newsletter para contenido de valor diario.