xAI utilizará Oracle Cloud Infrastructure para entrenar y ejecutar inferencias para Grok

Oracle ha revelado algunas de las empresas de IA que utilizan su nube e infraestructura de IA para entrenar modelos, incluida xAI de Elon Musk.

xAI utilizará la infraestructura de inteligencia artificial de Oracle Cloud Infrastructure (OCI) para el entrenamiento de sus modelos Grok de próxima generación y para ejecutar cargas de trabajo de inferencia.

Los modelos también se ofrecerán a través del servicio de inteligencia artificial generativa de OCI.

“Grok 3 representa un gran avance en las capacidades de IA, y la avanzada plataforma de datos de Oracle acelerará su impacto en las empresas”, afirmó Jimmy Ba, cofundador de xAI. “Esta colaboración entre xAI y Oracle redefinirá la IA empresarial”.

Oracle cuenta con una extensa flota de GPU en funcionamiento, incluyendo sus «Superclusters OCI» compuestos por GPU Nvidia. La compañía lanzó recientemente un Supercluster con 131.072 GPU Blackwell , otro clúster con 65.536 GPU Nvidia H200 y un Supercluster H100 escalable a 16.384 GPU.

La compañía también está planeando un supergrupo de GPU AMD, que tendrá 131.072 de los nuevos chips MI355X del proveedor.

Si bien xAI utiliza OCI para la capacitación, la empresa de IA también opera su propio centro de datos con una gran cantidad de GPU.

Las instalaciones de la compañía en Memphis se inauguraron en julio de 2024, con una capacidad inicial de 150 MW. Sin embargo, en octubre pasado, se informó que la capacidad del centro de datos se duplicaría tras la instalación de 100 000 GPU Nvidia Hopper adicionales en el clúster. Está ubicado en un parque industrial en Paul Lowry Road, al suroeste de Memphis.

xAI enfrenta una demanda a raíz del aumento de capacidad energética, para lo cual supuestamente la empresa no obtuvo los permisos necesarios para operar legalmente las 26 turbinas de gas natural que fueron instaladas en el sitio para alimentar sus operaciones.

La compañía está planeando un segundo centro de datos en Memphis, Tennessee, tras la compra de un sitio de 92.903 metros cuadrados en Tulane Road.

Los numerosos clientes de inteligencia artificial de Oracle

Además de xAI, Oracle ha detallado otras empresas de IA que utilizan OCI para sus cargas de trabajo de inferencia y entrenamiento de modelos.

Entre las empresas anunciadas se encuentran Fireworks AI, Hedra, Numenta y Soniox.

“Entre los innovadores de IA, OCI se ha convertido rápidamente en el destino predilecto para necesidades de entrenamiento e inferencia de todos los tamaños”, afirmó Chris Gandolfo, vicepresidente ejecutivo de Oracle Cloud Infrastructure and AI. “La infraestructura de IA de OCI ofrece redes de ultraalta velocidad, almacenamiento optimizado y GPU de vanguardia en las que las empresas de IA confían para impulsar la próxima ola de innovación”.

La plataforma de inferencia Fireworks AI utiliza instancias de hardware externo de OCI Compute con GPU Nvidia Hopper y OCI Compute con GPU AMD MI300X para servir más de dos billones de tokens de inferencia diariamente.

De manera similar, Soniox, una empresa de IA que trabaja en modelos de IA fundamentales para la comprensión de audio, habla y lenguaje, también está utilizando instancias de hardware externo de OCI Compute con GPU Nvidia Hopper para entrenar su modelo para reconocer y comprender el habla en 60 idiomas con baja latencia y mayor precisión.

“Al elegir un proveedor de nube para impulsar nuestro crecimiento, priorizamos una infraestructura de alto rendimiento que ofrezca mayor precisión, velocidad y rentabilidad”, afirmó Klemen Simonic, fundador y director ejecutivo de Soniox. “OCI nos brinda acceso a las últimas innovaciones en IA que nos permiten superar los límites del reconocimiento de voz y la comprensión de audio, a la vez que reducimos significativamente el tiempo de implementación y los costos operativos”.

(datacenterdynamics.com)

Les estaremos informando con mucho más detalle, en el marco del informe especial: “Arquitecturas de IA, Machine Learning, Deep Learning, Gemelos digitales y Soluciones de valor de Cloud Computing con innovadores modelos de negocio, soluciones de IOT, IOTI, soluciones de Automatización. Ciberseguridad, Infraestructura de conectividad: redes LAN, Wifi. Buenas prácticas corporativas.», que estamos preparando para nuestra edición 214 y publicaremos en el mes de junio.

Mantente conectado a nuestra revista Channel News Perú, haciendo clic aquí y suscribiéndote a nuestro newsletter para contenido de valor diario.