Cómo auditar los sistemas de IA para garantizar la transparencia y el cumplimiento

Las auditorías de IA son una parte esencial de la estrategia de IA para cualquier organización, ya sea una empresa de usuarios finales o un proveedor de IA.

Basándose tanto en las metodologías de auditoría tradicionales como en los marcos de gobernanza de IA, las auditorías de IA garantizan que estos sistemas cumplan con los estándares de funcionalidad, transparencia, ética y cumplimiento. Si bien no existe un enfoque único para todos, las mejores prácticas, como definir el alcance, realizar evaluaciones exhaustivas y documentar los hallazgos, pueden preparar a una organización para el éxito.

¿Qué es una auditoría de IA?

Una auditoría de IA, a veces denominada auditoría de sesgo o de algoritmos, es un proceso estructurado para evaluar aspectos de un sistema de IA, incluido su diseño, algoritmos, datos, desarrollo y funcionamiento. El objetivo es confirmar que el sistema satisface los criterios de rendimiento y cumple con los requisitos regulatorios.

Una auditoría de IA es una evaluación holística. Por ejemplo, el sesgo de IA no solo surge de los datos de entrenamiento, sino también de las opciones de diseño, las arquitecturas algorítmicas, las prácticas de desarrollo e implementación del sistema, y el manejo de errores y los mecanismos de seguridad. Al observar cada aspecto de un sistema de IA, las auditorías pueden identificar y mitigar dichos riesgos.

Los objetivos clave de las auditorías de IA son verificar que el sistema exhiba las siguientes características:

• Funcionalidad. El sistema de IA es preciso y confiable para las tareas previstas.
• Transparencia. Existe una comprensión suficiente de cómo funciona el sistema, incluidos sus algoritmos, entradas y salidas. Esto a menudo se evalúa a través de la interpretabilidad o explicabilidad.
• Comportamiento ético. El sistema minimiza el sesgo, el daño y los resultados discriminatorios para individuos o grupos.
• Cumplimiento. El sistema de IA se adhiere a todos los estándares y regulaciones aplicables.

¿Por qué se realizan auditorías de IA?

Las organizaciones realizan auditorías de IA en una variedad de contextos:

• Previo a la implementación, para identificar y solucionar problemas antes de que los sistemas pasen a producción.
• Posterior a la implementación, para monitorear el desempeño en el mundo real.
• Como parte de revisiones operativas o según lo exija la ley.
• Como parte del análisis de causa raíz luego de un incidente.
• Como parte de la debida diligencia durante fusiones y adquisiciones.
• Por una compañía de seguros al suscribir riesgos.

El alcance y los criterios de la auditoría se adaptan a su propósito.

Metodologías y marcos de auditoría de IA

Las metodologías de auditoría de IA se basan en prácticas de auditoría establecidas en tecnología, gestión de riesgos y seguridad. Algunos ejemplos incluyen los siguientes:

• Objetivos de control para tecnologías de la información y relacionadas, o COBIT.
• Marco de gestión de riesgos empresariales COSO.
• Estándares del Instituto de Auditores Internos.
• Marcos NIST.
• Pautas de la Oficina de Responsabilidad Gubernamental de los EE. UU.

También hay marcos y herramientas especializados disponibles para el cumplimiento de regulaciones específicas. Por ejemplo, la herramienta CapAI de la Universidad de Oxford evalúa los sistemas de IA de acuerdo con la Ley de IA de la Unión Europea.

Auditorías y gobernanza de la IA

Las auditorías de la IA son parte integral de la gobernanza de la IA, incluido el cumplimiento de las regulaciones emergentes. Por ejemplo, la recientemente promulgada Ley de IA de la UE exige auditorías como un elemento no opcional.

En los EE. UU., existen regulaciones para los sistemas de IA a nivel local, estatal y federal. Algunas regulaciones, como la Ley Local 144 de la Ciudad de Nueva York sobre el uso de la IA en asuntos laborales, requieren una auditoría independiente de terceros. Otras regulaciones que afectan a los sistemas de IA incluyen las siguientes, aunque tenga en cuenta que la orientación federal podría cambiar bajo la administración Trump:

• Colorado SB21-169 y SB24-205, enfocadas en prevenir la discriminación algorítmica en seguros y protección del consumidor.
• La Evaluación de los Programas de Cumplimiento Corporativo del Departamento de Justicia de los EE. UU., que incorpora orientación sobre el riesgo de la IA.
• La iniciativa de la Comisión de Igualdad de Oportunidades en el Empleo para garantizar que el uso de la IA en la contratación cumpla con las leyes federales de derechos civiles.
• Las reglas de la Comisión Federal de Comercio sobre la IA y el daño al consumidor.

Las auditorías de IA también pueden evaluar si las organizaciones siguen prácticas de IA responsables, adoptan métodos de IA explicables, implementan herramientas de gobernanza de IA y se adhieren a las operaciones de aprendizaje automático y las mejores prácticas de seguridad. Los estándares voluntarios de gestión de riesgos de IA, como el Marco de Gestión de riesgos de IA del NIST y la ISO/IEC 42001, proporcionan orientación adicional para este tipo de auditorías.

Las auditorías de IA generativa o modelos de lenguaje de gran tamaño implican consideraciones adicionales. Estas auditorías requieren evaluar posibles problemas de derechos de propiedad intelectual, gestionar alucinaciones, realizar declaraciones sobre contenido generado por IA y garantizar la privacidad y seguridad de los datos.

Auditorías internas de IA

Las empresas pueden gestionar las auditorías de IA estableciendo un auditor interno de IA o un equipo de auditoría. Este equipo debe colaborar con las unidades de IA, TI, riesgo, legal y de negocios para identificar y abordar las deficiencias en los sistemas de IA. El papel de un equipo de auditoría interna de IA es comparable al de los auditores internos de un departamento de finanzas, que realizan revisiones internas y ayudan a su organización a prepararse para las auditorías externas.

Los proveedores de IA también se benefician de realizar auditorías internas de IA para sus productos, ya que demuestra un compromiso con las prácticas de IA responsables. Cada vez más, los organismos del sector público y las empresas privadas solicitan este tipo de informes de auditoría cuando adquieren productos de IA.

Siete pasos clave para realizar una auditoría de IA

Estos siete pasos pueden ayudar a las empresas a comenzar con una auditoría de IA:

1. Defina el alcance de la auditoría. Establezca el propósito principal de la auditoría, los sistemas o aplicaciones de IA que se evaluarán y los riesgos e impactos que se evaluarán.
2. Reúna la documentación. Recopile información detallada sobre la funcionalidad del sistema de IA, el uso previsto y los usuarios internos y externos.
3. Evalúe la calidad y el preprocesamiento de los datos. Identifique las fuentes y la procedencia de los datos de entrenamiento, incluido el derecho a usar esos datos para entrenar modelos de IA. Verifique si hay violaciones de privacidad y analice si la composición de los datos podría generar sesgos y errores.
4. Evalúe los procesos de desarrollo e implementación. Examine los tipos de algoritmos utilizados y su transparencia. Evalúe si se están utilizando categorías protegidas como el género o la raza de manera indirecta a través de variables correlacionadas, y determine si existen procesos estándar para la implementación y el monitoreo del rendimiento posterior a la implementación.
5. Analice el impacto en los usuarios. Verifique si ha habido quejas de los usuarios y confirme que se esté informando a los usuarios finales sobre el uso de IA de la organización. Dependiendo del caso de uso, verifique si hay sesgos en función de las métricas de equidad relevantes y pruebe la privacidad de los datos y la seguridad de la aplicación.
6. Verifique el cumplimiento. Las regulaciones aplicables varían según la industria, el país y el sistema de IA, por lo que debe seguir las pautas específicas de la regulación y utilizar listas de verificación personalizadas cuando corresponda.
7. Documente los hallazgos y desarrolle un plan de acción. Cree un informe que detalle los problemas descubiertos, la evidencia y las recomendaciones de respaldo. Analice los hallazgos con las partes interesadas clave y desarrolle hojas de ruta para la mejora, lideradas por el auditor interno o el equipo de auditoría, si corresponde.

(computerweekly.com)

Les estaremos informando con mucho más detalle, en el marco del informe especial: “Soluciones de infraestructura de Data centers y edge computing, componentes activos (UPS, AAC, generadores, tableros eléctricos, PDU) y pasivos (cables, gabinetes, pisos, accesorios, conectores), ciberseguridad, seguridad (perimétrica y de data) y controles (cámaras, extinguidores de gas, tableros de acceso). Energía limpia: generadores solares de energía para Data centers. Equipamiento integral para y hacia la nube. Cableado y gestión de cableado estructurado. Buenas prácticas ambientales», que estamos preparando para nuestra edición 212 y publicaremos en el mes de febrero.

Mantente conectado a nuestra revista Channel News Perú, haciendo clic aquí y suscribiéndote a nuestro newsletter para contenido de valor diario.