Los agentes de IA pueden contar con un humano en el proceso, pero eso ya no es suficiente

Todos sabemos a qué velocidad innova la IA. Incluso las herramientas que utilizábamos el año pasado parecen prácticamente prehistóricas en comparación con las que empleamos hoy. Paralelamente, los riesgos asociados a la IA también están evolucionando: ya no se limitan únicamente a los modelos, sino que se han convertido en riesgos relacionados con los datos y, por extensión, en riesgos operativos. Sin embargo, hasta la fecha, las organizaciones no han logrado adaptar su enfoque sobre los riesgos de la IA para hacer frente a esta transformación.

Hoy en día, los agentes internos poseen más poder que algunos empleados humanos, ya que cuentan con amplios permisos que les permiten publicar, desplegar y modificar sistemas de forma automática. Y, aunque los humanos participen en el proceso, esto ya no basta para garantizar la seguridad y fiabilidad de dichos agentes. Estos operan a velocidad de máquina, provocando errores que se propagan en cascada por los sistemas más rápido de lo que un ser humano puede comprender —y mucho menos identificar o corregir— manualmente. A simple vista, estos errores suelen parecer correctos; sin embargo, antes de darse cuenta, surgen daños colaterales en forma de transacciones perdidas, flujos de trabajo interrumpidos y graves alteraciones en la actividad empresarial.

Está claro que el enfoque de «humano en el bucle» ya no basta para gestionar estos agentes de IA. Para cuando se detecta un error, resulta casi imposible rastrear su recorrido a través de los sistemas, por lo que no queda más remedio que realizar un reinicio completo del sistema; esto suele provocar mayores trastornos y acarrear costes superiores a los del error original. Ya desarrollamos un botón de «deshacer» para los errores humanos, y es hora de empezar a utilizar un equivalente para la IA, transformando así los procesos de restauración: pasando de un enfoque centrado en el sistema a uno centrado en los cambios.

El desplazamiento oculto del riesgo

Según los últimos datos de McKinsey, más del 60% de las organizaciones están experimentando actualmente con agentes de IA. Y «experimentar» es la palabra clave en este contexto. La mayoría de las organizaciones que utilizan esta tecnología lo hacen sin comprender plenamente el impacto que estos agentes pueden tener en el resto de sus operaciones. De hecho, el 97 % de los agentes cuenta con privilegios excesivos que podrían desencadenar el caos. Basta una sola «alucinación» derivada de datos erróneos para que un agente elimine accidentalmente toda una base de datos de producción y sus copias de seguridad en cuestión de segundos. Y no se trata de una exageración: es algo que ya ha sucedido.

Este cambio en el panorama de riesgos no ocurrió de la noche a la mañana. Cuando las organizaciones apenas comenzaban a experimentar con los LLM, contar con supervisión humana (human-in-the-loop) bastaba para garantizar que se filtraran los resultados incorrectos. Pero eso ya no es así. Estos agentes no solo operan a una velocidad que supera la capacidad de comprensión humana, sino que ahora superan en número a los empleados encargados de supervisarlos. Se estima que, en una empresa promedio, la proporción de identidades no humanas frente a los empleados humanos es de 82 a 1. Esta transformación no solo exige actualizar las medidas de seguridad; requiere un enfoque totalmente nuevo.

Sin intervención humana y bajo el modelo de confianza cero (Zero-Trust)

No se trata solo de lo que estos agentes pueden hacer, sino de a qué pueden acceder. Los agentes de IA, especialmente aquellos con privilegios sin restricciones, pueden acceder a todos los datos del ecosistema de una organización, incluidos los datos no estructurados que suelen pasarse por alto. Innumerables historiales de chat, archivos mal clasificados y documentos históricos redundantes quedan ahora al alcance de estos agentes. Es muy probable que existieran medidas de gobernanza y control para estos datos, pero no fueron diseñadas para flujos de trabajo basados en IA.

Las arquitecturas tradicionales, como Zero Trust, se diseñaron para usuarios humanos que empleaban dispositivos cuyo acceso podía gestionarse dentro de perímetros definidos, no para agentes de IA que interactúan directamente con los datos a velocidad de máquina. Estos agentes eluden por completo cualquier medida de gobernanza centrada en los puntos finales y la identidad. Por no hablar de los innumerables agentes de IA en la sombra que a las organizaciones les cuesta rastrear y controlar.

Está claro que este enfoque de seguridad basado en sistemas debe evolucionar para volverse más granular. En lugar de superponer medidas de seguridad a los datos, es necesario integrarlas en los propios datos mediante técnicas de clasificación y enmascaramiento. De este modo, las políticas se aplican incluso antes de que un agente de IA tenga tiempo de actuar, lo cual no es tarea fácil.

Analice en detalle los aspectos relacionados con la IA

Lo mismo se aplica a sus procesos de restauración a mayor escala. Depender de una combinación de intervención humana y restauraciones que abarcan todo el sistema resulta insostenible en la era de la IA con capacidad de acción autónoma (agentic AI). Estas reversiones generalizadas son costosas y a menudo provocan daños colaterales que superan el coste del error original. ¿La razón? Carecen de precisión.

A medida que los agentes de IA se integran cada vez más en las operaciones empresariales, las organizaciones deben adoptar un proceso de reversión orientado al cambio. Mediante el uso de mecanismos de atribución vinculados a objetos rastreados o cambios a nivel de registro —considerando el contexto de las dependencias—, es posible identificar con exactitud qué elementos modificó el agente y revertir únicamente dichas acciones. Se trata de una reversión precisa: deshacer solo aquello que requiere modificación. Como bien se sabe, estos errores seguirán produciéndose a medida que los agentes de IA continúen aprendiendo. Si una organización aún no ha tenido que afrontar una reversión a gran escala derivada de un fallo de un agente, es solo cuestión de tiempo que deba enfrentarse a esa situación.

Las organizaciones deben anticiparse a esta situación antes de que se produzca un error, no después. Como ya hemos visto en incidentes que han acaparado titulares, los agentes no cometen errores de la misma manera que los humanos: no se limitan a enviar un correo electrónico equivocado, sino que pueden paralizar las operaciones de toda una organización. Esto no significa que debamos prescindir por completo de un modelo de gobernanza que incluya supervisión humana. Los humanos deben mantener dicha supervisión, pero para corregir eficazmente los problemas de los agentes, necesitan contar con mecanismos de recuperación de precisión. No solo para minimizar los costes operativos, sino también para ganar la confianza necesaria para utilizar con éxito la IA de agentes. Gracias a la recuperación de precisión, un error de la IA no tiene por qué desembocar en un desastre para toda la empresa; puede tratarse simplemente de una corrección de rumbo para retomar el camino correcto.

(prensariotila.com)

Seguiremos brindándote más información sobre este tema en las siguientes presentaciones físicas y digitales de Channel News Perú

Mantente conectado a nuestra plataforma de negocios y revista, haciendo clic aquí y suscribiéndote a nuestro newsletter para contenido de valor diario