Código abierto, riesgos abiertos: los crecientes peligros de la IA generativa no regulada
Mientras que los modelos de IA generativa convencionales cuentan con barreras de seguridad integradas, las alternativas de código abierto no tienen tales restricciones. Esto es lo que significa para los delitos cibernéticos.
No hay duda de que el código abierto es el futuro del software. Según el Informe sobre el estado del código abierto de 2024, más de dos tercios de las empresas aumentaron su uso de software de código abierto durante el último año.
La IA generativa no es una excepción. El número de desarrolladores que contribuyen a proyectos de código abierto en GitHub y otras plataformas está en aumento. Las organizaciones están invirtiendo miles de millones en IA generativa en una amplia gama de casos de uso, desde chatbots de atención al cliente hasta generación de código. Muchos de ellos están creando modelos de IA propios desde cero o basándose en proyectos de código abierto.
Pero las empresas legítimas no son las únicas que invierten en IA generativa. También es una verdadera mina de oro para actores maliciosos, desde estados deshonestos empeñados en proliferar desinformación entre sus rivales hasta ciberdelincuentes que desarrollan código malicioso o estafas de phishing dirigidas.
Derribar las medidas de seguridad
Por ahora, una de las pocas cosas que frenan a los actores maliciosos son las medidas de seguridad que los desarrolladores han establecido para proteger sus modelos de IA contra el uso indebido. ChatGPT no generará a sabiendas un correo electrónico de phishing y Midjourney no creará imágenes abusivas. Sin embargo, estos modelos pertenecen a ecosistemas de código completamente cerrado, donde los desarrolladores detrás de ellos tienen el poder de dictar para qué pueden y no pueden usarse.
Solo pasaron dos meses desde su lanzamiento público para que ChatGPT alcanzara los 100 millones de usuarios. Desde entonces, innumerables miles de usuarios han intentado romper sus barreras de seguridad y «jailbreak» para hacer lo que quieran, con diversos grados de éxito.
El imparable auge de los modelos de código abierto hará que estas barreras de seguridad queden obsoletas de todos modos. Aunque el rendimiento suele estar por detrás del de los modelos de código cerrado, no hay duda de que los modelos de código abierto mejorarán. La razón es simple: los desarrolladores pueden usar los datos que quieran para entrenarlos.IA, en lugar de dejarla únicamente en manos de las grandes corporaciones y los reguladores.
Sin embargo, sin medidas de seguridad, la IA generativa es la próxima frontera en el delito cibernético. Las IA no autorizadas, como FraudGPT y WormGPT, están ampliamente disponibles en los mercados de la dark web. Ambos se basan en el modelo de lenguaje grandes (LLM) de código abierto GPT-J desarrollado por EleutherAI en 2021.
Los actores maliciosos también están utilizando sintetizadores de imágenes de código abierto como Stable Diffusion para construir modelos especializados capaces de generar contenido abusivo. El contenido de video generado por IA está a la vuelta de la esquina. Actualmente, sus capacidades solo están limitadas por la disponibilidad de modelos de código abierto de alto rendimiento y la considerable potencia de procesamiento necesaria para ejecutarlos.
Les estaremos informando con mucho más detalle, en el marco del informe especial: “Ciberseguridad basada en AI, Ciberseguridad convencional, (Data centers, redes y dispositivos). Ciberseguridad multinube, Ciberseguridad en universo hiperconectado, Arquitecturas de Ciberseguridad basadas en AI», que estamos preparando para nuestra edición 217 y publicaremos en el mes de enero.
Mantente conectado a nuestra revista Channel News Perú, haciendo clic aquí y suscribiéndote a nuestro newsletter para contenido de valor diario.
