Gaudi 3 apunta al desarrollo de la IA con ecosistemas abiertos

El desarrollo tecnológico con la inteligencia artificial (IA) está llevando a la industria a una revolución tanto en el centro de datos como el Edge, así como la creación de una nueva categoría de PC con IA, asegura Marcelo Bertolami, director de Socios Regionales y del Equipo de Tecnología de Latam.

En el marco del reciente Intel Vision 2024, donde el CEO de Intel Pat Gelsinger presentó el acelerador Gaudi 3 para IA generativa empresarial, así como un conjunto de nuevos sistemas abiertos, el ejecutivo regional destacó el camino que está siguiendo la empresa para que las empresas no dependan de ecosistemas cerrados. “Cada compañía se transformará en una compañía con IA. La mayoría aplicará IA en parte de sus procesos, diría que un 50% de aplicaciones de Edge estarán con IA, pasando de 5% a 50% en menos de un año”, detalló Bertolami.

En el plano de PC con IA, sostuvo que Meteor Lake ya se encuentra en 5 millones de unidades y que se planea entregar un total de 40 millones este año, para pasar a cientos de millones de unidades el siguiente. En la misma línea va otro producto como Lunar Lake, de gran potencia de cómputo.

El ejecutivo se refirió asimismo a la transición hacia el Edge en vista de que la nube es más cara, la necesidad de respuesta a nivel local para diversas operaciones, y el interés de que los datos se queden en el lugar donde se generan. “Se ve esta evolución y para 2026, el Machine Learning y la IA estarán en Edge en por lo menos la mitad de las implementaciones”, aseguró.

El potencial de Gaudi 3

Sobre Gaudi 3, Marcelo Bertolami destacó que es un producto que ofrece mejor performance y beneficio, un 40% más rápido en inferencia (time to train). El desarrollo va en la vía de hacer realidad la idea de la IA en todas partes, de forma segura y económica, con menos consumo de energía y la posibilidad de elección con software abierto, y asegurando la interopeabilidad de diferentes software y capas de hardware.

Según ha detallado Intel, Gaudi 3, está diseñado para una informática eficiente de IA a gran escala, se fabrica en un proceso de 5 nanómetros (nm) y ofrece avances significativos con respecto a su predecesor. Está creado para permitir la activación de todos los motores en paralelo, con el motor de multiplicación de matriz (MME), los núcleos del procesador de tensor (TPC) y las tarjetas de interfaz de red (NIC), lo que permite la aceleración necesaria para un cálculo y escala de aprendizaje profundo rápido y eficiente.

Entre las características clave destacan:

• Motor de cómputo dedicado a la IA: El acelerador Intel Gaudi 3 fue diseñado específicamente para la computación GenAI de alto desempeño y alta eficiencia. Cada acelerador cuenta de manera única con un motor de cómputo heterogéneo compuesto por 64 TPC programables y personalizados de IA, y ocho MME. Cada Intel® Gaudi 3 MME es capaz de realizar la impresionante cantidad de 64 000 operaciones paralelas, lo que permite un alto grado de eficiencia computacional y los convierte en expertos en el manejo de operaciones matriciales complejas, un tipo de computación que es fundamental para los algoritmos de deep learning. Este diseño único acelera la velocidad y la eficiencia de las operaciones de IA en paralelo y admite varios tipos de datos, incluidos FP8 y BF16.
• Memory Boost para LLM Requisitos de capacidad: 128 gigabytes (GB) de capacidad de memoria HBMe2, 3,7 terabytes (TB) de ancho de banda de memoria y 96 megabytes (MB) de memoria estática de acceso aleatorio (SRAM) incorporada proporcionan una amplia memoria para procesar grandes conjuntos de datos GenAI en menos procesadores Intel Gaudi 3, particularmente útiles para servir a modelos multimodales y de lenguaje grande, lo que resulta en un mayor desempeño de la carga de trabajo y la rentabilidad del centro de datos.
• Escalado eficiente del sistema para Enterprise GenAI: Veinticuatro puertos Ethernet de 200 gigabits (Gb) están integrados en cada acelerador Intel Gaudi 3, proporcionando una red flexible y de estándar abierto. Permiten un escalamiento eficiente para admitir clústeres de cómputo grandes y eliminar el bloqueo de proveedores de las estructuras de red propietarias. El acelerador Intel Gaudi 3 está diseñado para escalarse de manera eficiente de un solo nodo a miles para satisfacer los requisitos expansivos de los modelos GenAI.
• Software abierto para la productividad de los desarrolladores: El software Intel Gaudi integra el marco de PyTorch y proporciona modelos optimizados basados en la comunidad Hugging Face, el marco de IA más común para los desarrolladores de GenAI en la actualidad. Esto permite a los desarrolladores de GenAI operar a un alto nivel de abstracción para facilitar el uso y la productividad y facilitar la migración de modelos entre tipos de hardware.
• Gaudi 3 PCIe: Una novedad en la línea de productos es la tarjeta adicional Gaudi 3 peripheral component interconnect express (PCIe). Diseñado para ofrecer una alta eficiencia con menor consumo de energía, este nuevo formato es ideal para cargas de trabajo como el ajuste fino (fine-tuning), la inferencia y la generación aumentada por recuperación (RAG). Está equipado como un factor de forma de altura completa a 600 vatios, con una capacidad de memoria de 128 GB y un ancho de banda de 3,7 TB por segundo.

Finalmente, Marcelo Bertolami explicó que la IA se irá asentando tal como sucedió con la tecnología WiFi, que al principio no se comprendía bien su utilidad, pero que luego fue inconcebible no tenerla en todos lados. En ese propósito es clave la masificación que se está logrando con ChatGPT y los modelos de lenguaje (LLM) que permiten a la IA ofrecer mucho mejores resultados con un buen manejo de la semántica para los prompts.  “No sólo desde el punto de vista de texto a texto, sino de texto a imagen, y de texto a video. La IA no es un hype, es algo que va a quedarse”, concluyó, al tiempo que recordó que varias empresas grandes de Latinoamérica ya la utilizan eficientemente, lo que es una perspectiva auspiciosa considerando la gran cantidad de desarrolladores que hay en la región y que pueden encontrar múltiples casos de uso para la tecnología.

Les estaremos informando con mucho más detalle, en el marco del informe especial: “Soluciones de infraestructura de Data centers y edge computing, componentes activos (UPS, AAC, generadores, tableros eléctricos, PDU) y pasivos (cables, gabinetes, pisos, accesorios, conectores), ciberseguridad, seguridad (perimétrica y de data) y controles (cámaras, extinguidores de gas, tableros de acceso). Energia limpia: generadores solares de energía para Data centers. Equipamiento integral para y hacia la nube. Buenas prácticas ambientales”, que estamos preparando para nuestra edición 207 y publicaremos en el mes de abril.

Mantente conectado a nuestra revista Channel News Perú, haciendo clic aquí y suscribiéndote a nuestro newsletter para contenido de valor diario.