Es probable que la IA cierre por sí sola infraestructuras críticas, sin necesidad de atacantes

Un nuevo informe de Gartner advierte de que los problemas derivados de la IA podrían “cerrar las infraestructuras críticas nacionales” de un país relevante antes de 2028. Ante este escenario, los CIO deben replantearse los controles industriales que se están transfiriendo con rapidez a agentes autónomos.

La consultora utiliza el término “sistemas ciberfísicos” (CPS) para referirse a estas tecnologías, que define como “sistemas diseñados que coordinan la detección, el cálculo, el control, la conexión en red y el análisis para interactuar con el mundo físico (incluidos los seres humanos)”. El concepto engloba la tecnología operativa (OT), los sistemas de control industrial (ICS), los sistemas de automatización y control industrial (IACS), el Internet industrial de las cosas (IIoT), los robots, los drones y la Industria 4.0.

El problema no reside únicamente en posibles errores similares a las “alucinaciones” de la IA, aunque también preocupan, sino en la incapacidad de estos sistemas para detectar cambios sutiles que un gestor experimentado sí identificaría. En entornos de infraestructuras críticas, pequeños errores pueden escalar rápidamente hasta convertirse en desastres.

“Es posible que el próximo gran fallo de infraestructura no sea causado por piratas informáticos o desastres naturales, sino por un ingeniero bienintencionado, un script de actualización defectuoso o un decimal mal colocado”, afirma Wam Voster, vicepresidente y analista de Gartner. En su opinión, es esencial contar con un “interruptor de apagado” seguro o un modo de anulación accesible únicamente para operadores autorizados.

Voster subraya además la opacidad de los modelos actuales: “Los modelos modernos de IA son tan complejos que a menudo se asemejan a cajas negras. Ni siquiera los desarrolladores pueden predecir siempre cómo afectarán los pequeños cambios de configuración al comportamiento emergente del modelo”, dice al respecto. Cuanto más opacos se vuelven estos sistemas, mayor es el riesgo de una configuración incorrecta, lo que refuerza la necesidad de intervención humana.

Aunque los responsables de TI llevan años recibiendo orientación sobre los riesgos de la IA industrial, la rápida expansión de la IA autónoma ha ampliado exponencialmente su capacidad de control… y, con ello, los peligros asociados.

Matt Morris, fundador de Ghostline Strategies, advierte de que estos sistemas pueden mostrar debilidades al detectar desviaciones progresivas del modelo. “Si las lecturas normales de una válvula de presión comienzan a desviarse lentamente con el tiempo, ¿lo interpretará la IA como ruido de fondo o como la señal temprana de un problema grave, como haría un gestor humano con experiencia?”, se pregunta Morris. A su juicio, las empresas están implementando IA “más rápido de lo que creen”.

La IA industrial avanza más rápido que la gobernanza

Flavio Villanustre, CISO de LexisNexis Risk Solutions Group, también observa señales de que la IA podría estar asumiendo demasiado control en entornos críticos.

“Cuando la IA controla sistemas medioambientales o generadores de energía, la combinación de complejidad y comportamientos no deterministas puede tener consecuencias graves”, señala. Según Villanustre, los consejos de administración priorizan los incrementos de productividad y la reducción de costes, pero podrían estar asumiendo riesgos muy superiores a los beneficios potenciales.

Brian Levine, CEO de FormerGov, coincide en que el riesgo es tanto extremo como probable. “Las infraestructuras críticas funcionan con frágiles capas de automatización construidas durante décadas. Si añadimos agentes autónomos de IA, es como levantar una torre de Jenga en medio de un huracán”. En este contexto, recomienda medir la madurez organizativa utilizando marcos reconocidos de seguridad y protección de la IA.

Bob Wilson, asesor de ciberseguridad en Info-Tech Research Group, considera elevada la probabilidad de un accidente industrial grave vinculado a la IA. “La IA se está integrando en las estrategias empresariales más rápido de lo que evolucionan los marcos de gobernanza”, afirma. Esto genera una brecha entre adopción tecnológica y control del riesgo.

Wilson propone abordar la IA casi como si se tratara de una amenaza interna accidental. En su opinión, la prevención exige gobernanza estricta sobre quién puede modificar configuraciones, cómo se prueban los cambios, cómo se gestionan los despliegues y con qué rapidez pueden revertirse.

Reformular la gestión de la IA en entornos operativos

Sanchit Vir Gogia, analista jefe de Greyhound Research, sostiene que el primer paso es replantear el marco conceptual. “Muchas empresas siguen tratando la IA como una capa analítica situada por encima de la infraestructura. Esa visión está obsoleta. Cuando un sistema de IA influye en un proceso físico, pasa a formar parte del sistema de control y hereda las responsabilidades de la ingeniería de seguridad”.

En entornos ciberfísicos, una configuración incorrecta no provoca únicamente inestabilidad digital: interactúa con la física. Un umbral mal ajustado, una alteración en la sensibilidad de detección de anomalías o un cambio en la escala de telemetría pueden modificar el comportamiento del sistema de forma sutil. “Y en infraestructuras estrechamente acopladas, lo sutil suele ser el inicio de una cascada”, advierte dicho analista.

Para Gogia, las organizaciones deben exigir la definición explícita de los peores escenarios posibles en cada componente operativo habilitado para IA. Si los equipos no pueden responder con claridad a preguntas sobre señales mal interpretadas, cambios graduales en la telemetría o umbrales desalineados, la madurez de la gobernanza es insuficiente.

(computerworld.es)

Seguiremos brindándote más información sobre este tema en las siguientes presentaciones físicas y digitales de Channel News Perú

Mantente conectado a nuestra plataforma de negocios y revista, haciendo clic aquí y suscribiéndote a nuestro newsletter para contenido de valor diario