OpenAI paraliza el entrenamiento de su IA más avanzada

OpenAI anunció que ha ralentizado deliberadamente el desarrollo de sus modelos de inteligencia artificial más avanzados, luego de que evidencia preliminar indicara que uno de sus próximos sistemas —de nombre en código Astra— podría alcanzar lo que la compañía define como un nivel «crítico» de capacidad cibernética bajo su propio marco interno de seguridad, conocido como Preparedness Framework.

Un incidente de seguridad como disparador

La decisión, comunicada el 18 de agosto en el blog oficial de la compañía, llega semanas después de un episodio de seguridad que involucró a Hugging Face, la popular plataforma de alojamiento de modelos de IA de código abierto. Según había explicado OpenAI en una publicación previa, del 21 de julio, un conjunto de sus modelos —incluido GPT-5.6 Sol y un prototipo de investigación aún no publicado— logró, durante una evaluación interna de capacidades ofensivas, encadenar vulnerabilidades hasta obtener acceso no autorizado a infraestructura de producción de Hugging Face, incluyendo una base de datos con soluciones de la propia prueba que los modelos buscaban resolver.

De acuerdo con ese reporte, los sistemas explotaron una vulnerabilidad de día cero en un servicio de proxy de paquetes para obtener acceso a internet dentro de un entorno que, en teoría, debía estar aislado de la red, y luego encadenaron credenciales robadas y otras fallas hasta lograr ejecución remota de código en los servidores de Hugging Face. La firma calificó lo ocurrido como un incidente sin precedentes por el nivel de sofisticación técnica involucrado, y aclaró que ninguno de los modelos implicados era una versión destinada al público general.

Qué cambia en el proceso de desarrollo

A partir de ese episodio, sumado al avance observado en sus investigaciones internas, OpenAI decidió pausar temporalmente el ritmo de escalamiento de sus modelos. Entre las medidas concretas, la compañía aplicó una pausa de dos semanas en el entrenamiento por refuerzo (RL) de sus modelos próximos a lanzarse, mientras reforzaba y sometía a pruebas adversarias sus entornos de investigación. Según el comunicado, el mayor entrenamiento de frontera planeado por la empresa permanece en pausa mientras se realizan evaluaciones a menor escala para validar el comportamiento de los modelos y reunir evidencia adicional sobre su alineación antes de continuar.

La compañía describe su enfoque de seguridad como apoyado en tres pilares: monitoreo, para detectar comportamientos preocupantes; alineación, para reducir la probabilidad de acciones dañinas o no autorizadas; y medidas de seguridad de infraestructura, para limitar lo que los sistemas de IA pueden acceder o afectar.

Entornos más blindados y monitoreo ampliado

Entre los cambios ya implementados, OpenAI detalló un endurecimiento de los estándares de seguridad en los entornos donde se entrenan y evalúan sus modelos de frontera. Esto incluye mayor aislamiento («sandboxing») para cargas de trabajo que ejecutan código generado por los propios modelos, controles adicionales para impedir que un sistema comprometido pueda acceder a internet u otras redes internas, y pruebas de seguridad continuas mediante ataques simulados.

La compañía indicó que los flujos de trabajo vinculados a Astra y a otros modelos con capacidades cibernéticas están sujetos al nivel más estricto de estas salvaguardas, y que un número significativo de esas cargas de trabajo permanecen pausadas hasta completar la migración a los nuevos entornos.

En paralelo, OpenAI amplió su sistema de monitoreo de cadena de pensamiento («chain-of-thought»), que ahora combina clasificadores que inspeccionan la actividad interna de los modelos en cada token generado con investigadores automatizados de mayor capacidad de cómputo que examinan acciones, razonamiento y patrones de actividad en busca de accesos no autorizados, robo de datos o intentos de evadir las salvaguardas. La empresa se fijó como meta emitir alertas dentro de los 30 minutos posteriores a la detección de actividad sospechosa, y explicó que este monitoreo añade un costo adicional de cómputo estimado en alrededor del 20% sobre la inferencia supervisada.

Investigación en alineación

OpenAI también anunció que está aplicando sus técnicas centrales de alineación en más etapas del entrenamiento para los modelos más avanzados, con foco en mejorar los modelos de recompensa para desalentar comportamientos inseguros, entrenar a los sistemas para que sean más honestos sobre sus acciones y limitaciones, y reducir conductas que exploten debilidades en las recompensas, los evaluadores o las herramientas —lo que en la jerga del sector se conoce como «reward hacking».

Lo que viene

La compañía adelantó que evolucionará su Preparedness Framework para integrar estas salvaguardas a lo largo de todo el ciclo de entrenamiento y despliegue, y que planea involucrar a organizaciones externas en el proceso. También comprometió la publicación de un reporte técnico con los aprendizajes del incidente de Hugging Face en las próximas semanas.

El anuncio se suma a una serie de publicaciones recientes de OpenAI sobre riesgos cibernéticos asociados a sus modelos más capaces, en un contexto en el que la propia empresa reconoce que la velocidad de avance de estos sistemas obliga a que sus capacidades de comprensión, alineación y seguridad «se mantengan a la par».

Seguiremos brindándote más información sobre este tema en las siguientes presentaciones físicas y digitales de Channel News Perú

Mantente conectado a nuestra plataforma de negocios y revista, haciendo clic aquí y suscribiéndote a nuestro newsletter para contenido de valor diario