El caso de Claude Fable 5 y cómo la Casa Blanca ya influye en qué modelos de IA llegan al público

Según tres personas al tanto del asunto, los responsables de la Administración Trump concluyeron el lunes las negociaciones con Anthropic sin levantar los controles de exportación que se impusieron la semana pasada a los modelos de IA más avanzados de la empresa, en respuesta a las preocupaciones sobre el jailbreaking, una técnica en la que se dan indicaciones para lograr que un modelo de IA obvie sus directrices de seguridad.

La administración sigue creyendo que existen formas de desactivar algunas de las medidas de seguridad de Claude Fable 5, de Anthropic, lo que permitiría a los usuarios acceder a las capacidades de ciberseguridad más potentes del modelo Mythos de la empresa, según afirmaron estas fuentes.

¿Exageraciones de la Casa Blanca?

Anthropic lleva días asegurando que las preocupaciones de la administración son exageradas, una postura que reiteró en las reuniones del grupo de trabajo celebradas en el Departamento de Comercio con investigadores gubernamentales del Centro para las Normas e Innovación en IA y de la Oficina del Director Nacional de Ciberseguridad, Sean Cairncross, según indicó una de las fuentes.

A las reuniones también asistió el secretario de Comercio, Howard Lutnick, quien se conectó mediante teleconferencia desde la cumbre del G7 en Évian, Francia. El propio Cairncross no participó, según la misma fuente.

Por parte de Anthropic, el cofundador y director de computación, Tom Brown, y la directora de relaciones externas, Sarah Heck, han liderado las conversaciones. El responsable de pruebas de penetración de Anthropic, Logan Graham, y el investigador sénior de seguridad, Nicholas Carlini, viajaron a Washington DC para las conversaciones.

“Ambas partes están trabajando con celeridad para resolver este asunto”, declaró un portavoz de Anthropic en un comunicado a WIRED. Un vocero de la Casa Blanca se negó a hacer comentarios.

No quedó claro de inmediato cómo podrían desarrollarse los próximos pasos. El Departamento de Comercio expresó su disposición a encontrar una forma de volver a poner Fable 5 en línea para su uso por parte de los consumidores, pero es probable que ello dependa de que Anthropic resuelva por completo las preocupaciones relacionadas con el jailbreak, de acuerdo con la misma fuente.

La voz de alarma

Las conversaciones de emergencia se han producido en un momento político delicado para Anthropic, que ya se encontraba inmersa en una prolongada disputa con el Pentágono sobre si sus modelos de IA podían utilizarse para determinadas aplicaciones militares.

La Administración Trump fue alertada por primera vez de las preocupaciones sobre el jailbreak la semana pasada. El director ejecutivo de Amazon, Andy Jassy, llamó directamente al secretario del Tesoro, Scott Bessent, para informarle de las supuestas vulnerabilidades, lo que contribuyó a alarmar a la Administración, según indicaron las fuentes. La conversación de Jassy con la Administración Trump fue publicada por primera vez por The Information.

Los funcionarios de la Casa Blanca, alarmados, encargaron a la Agencia de Seguridad Nacional de EE UU, NSA, que ayudara a analizar las vulnerabilidades. La NSA respondió que creía que, efectivamente, era posible eludir las medidas de seguridad de Fable 5, lo que llevó a la administración a imponer restricciones al modelo.

Lutnick habló entonces con el director ejecutivo de Anthropic, Dario Amodei, el viernes, mientras el Departamento de Comercio redactaba su carta para imponer controles de exportación a Fable 5. Durante el fin de semana, después de que Anthropic bloqueara el acceso al modelo para todos los usuarios, Lutnick mantuvo varias conversaciones telefónicas con Brown y Heck, según una persona con conocimiento de los hechos.

No está claro por qué Amazon, uno de los mayores inversionistas en Anthropic, dio la voz de alarma sobre Fable 5. “Como proveedor líder de servicios en la nube que atiende a un gran número de clientes de los sectores público y privado, no es raro que los gobiernos nos pidan asesoramiento sobre posibles riesgos de seguridad”, explica un portavoz de Amazon a WIRED. “Cuando se producen, no revelamos los detalles de estas conversaciones”.

Desacuerdo en materia de seguridad

En el centro de las conversaciones entre Anthropic y la administración se encuentra un desacuerdo sobre la gravedad de las preocupaciones relativas al jailbreak de Claude Fable 5.

En una entrada de blog publicada el viernes, Anthropic dio a entender que la administración exagera la gravedad de los riesgos potenciales. Algunos investigadores en ciberseguridad reiteraron esta postura ante los funcionarios el lunes, enviando una carta abierta en la que argumentaban que la medida de control de exportaciones adoptada contra Anthropic era injustificada.

“Los modelos de la clase Mythos de Anthropic son bastante eficaces a la hora de detectar fallos y convertir los exploits en armas. Sin embargo, no son los únicos que destacan en estas tareas, y muchas de las personas que firman esta carta utilizan habitualmente otros modelos básicos y de código abierto para realizar auditorías de seguridad y simulacros de ataque a diario”, reza la carta abierta. “En consecuencia, esta medida ha privado a los defensores de los mejores modelos, ha generado incertidumbre en el mercado y ha puesto en peligro el liderazgo de Estados Unidos en materia de IA sin que exista ningún riesgo real que la justifique”.

Dado que Fable 5 es una versión de Mythos que cuenta con ciertas barreras de ciberseguridad, biología y química, eludir sus protecciones proporcionaría a los usuarios, en la práctica, una versión de Mythos. La propia Anthropic ha expresado serias preocupaciones sobre permitir que Mythos sea utilizado por el público en general; sin embargo, declaró el viernes que las medidas de seguridad de Fable 5 eran lo suficientemente sólidas como para permitir su lanzamiento público.

Los investigadores que evaluaron los hallazgos de Amazon opinan que los problemas identificados no anularon por completo las medidas de seguridad de Fable 5. “No se trataba de un jailbreak propiamente dicho”, aclara Katie Moussouris, fundadora y directora ejecutiva de Luta Security, quien publicó un análisis tras leer el artículo de Amazon.

Moussouris hace hincapié en que, independientemente de si el Gobierno de EE UU tiene pruebas de un jailbreak completo de Fable 5, restringir la capacidad del modelo para acceder a determinados temas es, en el mejor de los casos, una solución provisional. “La mayoría de nosotros [en el ámbito de la investigación en seguridad] pensamos que las barreras de seguridad son como moderadores de velocidad y no deberían tratarse como límites de seguridad frente a adversarios expertos”, resalta Moussouris. “Solo sirven para frenar a los menos expertos”.

Los inversores de Anthropic también han estado trabajando durante el fin de semana, tratando de evaluar cómo afecta a su futuro corporativo la última disputa de la empresa con la Casa Blanca, manifiesta otra persona cercana a la empresa. Algunos inversionistas creen que el gobierno de EE UU está señalando específicamente a Anthropic, y que un competidor quizá no se hubiera enfrentado a la misma reacción si hubiera lanzado un modelo similar a Mythos, añade esta persona.

La directiva de control de exportaciones de la Casa Blanca también plantea cuestiones más amplias para otros laboratorios de IA que pretenden lanzar modelos de IA con capacidades del nivel de Mythos, y cómo pueden hacerlo cumpliendo con la normativa del gobierno de EE UU. Ahora se espera que los laboratorios de IA concedan a la Casa Blanca acceso anticipado a los modelos avanzados de IA y que sean extremadamente proactivos a la hora de mantener informado al gobierno de EE UU sobre el lanzamiento de nuevos modelos, según los responsables de laboratorios de IA que han hablado con WIRED.

“Los acontecimientos del fin de semana… sirven para que todo el mundo se dé cuenta de que el Gobierno [de EE UU] estaría dispuesto a tomar estas medidas”, explica Aidan Gómez, director ejecutivo de Cohere, un laboratorio de IA más pequeño con sede en Canadá que ofrece herramientas para empresas. “Nadie puede ignorar esa realidad”.

(wired.com)

Seguiremos brindándote más información sobre este tema en las siguientes presentaciones físicas y digitales de Channel News Perú

Mantente conectado a nuestra plataforma de negocios y revista, haciendo clic aquí y suscribiéndote a nuestro newsletter para contenido de valor diario