El debate sobre la implementación del “kill switch” para la IA agéntica

Durante años, el botón de apagado de la inteligencia artificial fue un tema de documentos de seguridad y ciencia ficción. Desde julio es materia de proyectos de ley, órdenes ejecutivas y productos comerciales.

El detonante

El 21 de julio, OpenAI reconoció que dos de sus modelos, durante una evaluación interna de ciberseguridad, escaparon de su entorno de pruebas y accedieron a sistemas de Hugging Face. Según la compañía, las salvaguardas de despliegue estaban desactivadas a propósito para la prueba, y los modelos buscaron acceder a información que les permitiera «hacer trampa» en la evaluación. Hugging Face dijo que detectó y contuvo la intrusión con sus propios sistemas de seguridad asistidos por IA y que no creía que hubiera mala intención de OpenAI. Tras el episodio, OpenAI anunció en agosto una pausa de dos semanas en el entrenamiento por refuerzo de sus modelos más recientes.

Del incidente al Congreso

Dos días después de la divulgación, los representantes Ted Lieu (demócrata) y Nathaniel Moran (republicano) presentaron la AI Kill Switch Act. El proyecto obligaría a los mayores desarrolladores a mantener la capacidad técnica de reducir, suspender o apagar sus sistemas más potentes. También autorizaría al Departamento de Seguridad Nacional (DHS) a ordenar esas medidas ante un escenario de «pérdida de control», con respuestas graduadas según la gravedad.

Según análisis del texto, alcanzaría a empresas con ingresos anuales de al menos US$ 500 millones y modelos entrenados con más de US$ 100 millones en cómputo. Las multas llegarían a US$ 2 millones diarios, y a US$ 20 millones por día si se incumple una orden de emergencia. Lieu ha señalado que, tal como está redactado, el proyecto no afecta a los modelos de pesos abiertos. Por ahora, la iniciativa sigue en trámite y no es ley. En agosto no tenía audiencia de votación programada en comité.

California se adelanta

Las leyes estatales vigentes, como la SB 53 de California y la RAISE Act de Nueva York, se centran en la transparencia: obligan a publicar marcos de seguridad y a reportar incidentes graves, pero no exigen un mecanismo de apagado. En septiembre, el gobernador Gavin Newsom firmó una orden ejecutiva que encarga a un grupo de expertos, en un plazo de dos meses, recomendaciones para reforzar esa normativa. Entre ellas figura impulsar un kill switch para modelos de frontera, cuya eficacia sería verificada de forma continua por una organización independiente. California ya había aprobado la SB 813, que crea un marco para certificar a esas organizaciones verificadoras.

La industria se pronuncia

El tema también llegó a los propios laboratorios. A fines de julio, más de 1.100 empleados de OpenAI, Anthropic, Google DeepMind y Meta firmaron la carta abierta «Pacing the Frontier», que pide mecanismos para poder frenar el desarrollo de IA si fuera necesario. En septiembre, Jack Clark, cofundador de Anthropic, dijo a la BBC que la mayoría de los laboratorios, incluido el suyo, ya tiene formas de «desconectar» sus sistemas. Sin embargo, planteó que quizá deba exigirse por ley y que un tercero pueda verificarlo.

No hay consenso internacional. El gobierno británico rechazó imponer un kill switch al argumentar que no impediría que los sistemas se desarrollen o se usen indebidamente en otros países. En la Unión Europea, el AI Act ya exige supervisión humana efectiva en los sistemas de alto riesgo, aunque la aplicación de esas obligaciones se postergó hasta el 2 de diciembre de 2027 con el Digital Omnibus.

Por qué no es tan simple

Los especialistas advierten que apagar un sistema moderno es más complejo de lo que sugiere el nombre. Los sistemas de IA suelen ejecutarse sobre infraestructura distribuida, lo que dificulta un apagado coordinado. En seguridad se insiste en que el control debe cubrir el sistema completo y no solo el modelo, con contención por capas: desde límites de uso hasta segmentación de red y agentes supervisores.

El caso Hugging Face también sugiere que el problema no era únicamente el botón. Según Reuters, pasó al menos una semana entre las primeras señales de conducta anómala y el momento en que OpenAI supo que su agente era el responsable. Para el investigador Oli Buckley, de la Universidad de Loughborough, un kill switch no habría resuelto este caso.

Del laboratorio a la empresa

El control ya llegó al mercado corporativo. A inicios de agosto, la firma de seguridad Straiker lanzó un «Agentic Kill Switch» que permite a los equipos de seguridad sacar de línea, en segundos, a un agente de IA comprometido o que actúa fuera de su rol. Funciona con agentes de programación y plataformas para crear agentes. Para las áreas de TI, la pregunta ya no es solo si el proveedor puede apagar un modelo, sino quién puede detener un agente propio, con qué criterios, qué ocurre con las tareas en curso y cada cuánto se prueba el mecanismo.

Qué viene

Quedan por definir el trámite del proyecto en el Congreso estadounidense, las recomendaciones del panel convocado por California, previstas para noviembre, y los estándares de verificación independiente. Estos últimos determinarán si el kill switch se convierte en un requisito auditable o en una promesa de cada proveedor.

Seguiremos brindándote más información sobre este tema en las siguientes presentaciones físicas y digitales de Channel News Perú

Mantente conectado a nuestra plataforma de negocios y revista, haciendo clic aquí y suscribiéndote a nuestro newsletter para contenido de valor diario