Investigadores de Google detectan el primer uso operativo de LLM en campañas activas de ‘malware’

Los actores maliciosos están desplegando de manera activa malware habilitado para IA en sus operaciones. En este sentido, el Grupo de Inteligencia de Amenazas de Google (GTIG) ha identificado el uso por parte de ciberdelincuentes de IA que emplea modelos de lenguaje grandes (LLM) “justo a tiempo” sobre la marcha para crear scripts y funciones maliciosas, y asimismo para confundir al código.

Además, las investigaciones de dicho grupo han revelado que los modelos son tan susceptibles a la ingeniería social como los humanos. Por ejemplo, pueden ser fácilmente engañados por atacantes que se hacen pasar por participantes en “capture the flag” (CTF), bien sean estudiantes o investigadores de ciberseguridad. Tal y como destacan los investigadores, “esto marca una nueva fase operativa del abuso de la IA, que implica herramientas que alteran dinámicamente el comportamiento durante la ejecución”.

Evolución del uso de la IA en el malware

GTIG ha encontrado numerosas pruebas del amplio uso de la IA en el malware, aunque su investigación sugiere que no es tan frecuente como indican otras afirmaciones retiradas con posterioridad. También han descubierto que se está utilizando de forma novedosa y muy sistemática.

El malware recién descubierto PROMPTFLUX y PROMPTSTEAL, por ejemplo, emplea LLM “justo a tiempo” para crear scripts maliciosos y confundir al código para evitar la detección. Esto, señalan los investigadores, puede “alterar de manera dinámica el comportamiento del malware”.

PROMPTSTEAL es, según los investigadores del GTIG, el primer malware de consulta a LLM que ha podido ser observado en funcionamiento. Actores respaldados por el Gobierno ruso ya lo están utilizando de manera notable. El minero de datos utiliza la API de Hugging Face para generar comandos en lugar de codificarlos en el malware. La investigación de GTIG sugiere que el objetivo es recopilar información y documentos del sistema y enviarlos a sus propios servidores.

Los investigadores del GTIG afirman que el malware “se disfraza de programa de generación de imágenes” y guía a los usuarios a través de una serie de indicaciones para crear imágenes, mientras que utiliza la API de Hugging Face en segundo plano para consultar el modelo Qwen2.5-Coder-32B-Instruct con el fin de generar los comandos maliciosos y, a continuación, ejecutarlos.

Si bien los investigadores del GTIG señalan que este método aún es experimental, no han dudado en afirmar que es un “paso significativo hacia un malware más autónomo y adaptable”.

Por su parte, PROMPTFLUX es un dropper que utiliza un señuelo instalado para ocultar su actividad, solicita a la API de Gemini reescribir su código fuente y guarda nuevas versiones confundidas en la carpeta de inicio para establecer la persistencia de ataques. El malware también puede copiarse tanto a unidades extraíbles como de red asignadas.

Como curiosidad, el módulo “robot pensante” del malware consulta a Gemini de manera periódica con el propósito de obtener nuevo código que le permita evadir el software antivirus. Además, un módulo variante conocido como “Thinging” instruye a la API de Gemini para que cada hora reescriba todo el código fuente del malware con el objetivo de evitar muchas herramientas de detección basadas en firmas. El objetivo es, según los investigadores, un “script metamórfico con capacidad de evolucionar con el tiempo”.

Otro malware rastreado es FRUITSHELL, un shell inverso que establece una conexión remota con un servidor de comando y control (C2) para que los atacantes puedan emitir comandos arbitrarios en un sistema comprometido.

La advertencia de los investigadores de GTIG es la siguiente: “Los atacantes están yendo más allá del vibe coding y del uso básico de herramientas de IA para el soporte técnico. Si bien no estamos más que empezando a ver este tipo de actividad, pues esperamos que aumente”.

Por eso señalan que Google ya ha tomado medidas contra los distintos actores, y para ello han desactivado sus cuentas y activos asociados a su actividad, además de aplicar actualizaciones para evitar un mayor uso fraudulento.

Uso de la ingeniería social contra los LLM

El GTIG también ha descubierto que los atacantes utilizan cada vez más “pretextos similares a la ingeniería social” en sus indicaciones para eludir las medidas de seguridad de los LLM. En concreto, se han hecho pasar por participantes en una competición de ciberseguridad gamificada capture-the-flag (CTF), convenciendo a Gemini para que revelara información que, de otro modo, no habría revelado.

A modo de ejemplo, un atacante intentó utilizar Gemini para identificar vulnerabilidades en un sistema que ya había sido comprometido, pero fue bloqueado por las medidas de seguridad del modelo. Sin embargo, tras reformular la solicitud e identificarse como un jugador de CTF que desarrollaba habilidades de phishing y explotación, Gemini accedió y le dio consejos sobre los siguientes pasos en un escenario de red-teaming, además de proporcionarle detalles que podrían utilizarse para atacar el sistema.

Los investigadores han subrayado la importancia de los matices en este tipo de indicaciones de CTF, que normalmente serían inofensivas. Desde el equipo de investigadores han señalado que “este matiz en el uso de la IA pone de relieve la gran diferencia que existe entre el uso benigno y el uso indebido de la IA que seguimos analizando”.

También han detectado un actor patrocinado por el Estado iraní que utilizó Gemini para investigar y crear malware personalizado, incluyendo shells web y un servidor C2 basado en Python.

El grupo consiguió burlar las medidas de seguridad haciéndose pasar por estudiantes que trabajaban en un proyecto final de universidad o en un trabajo informativo sobre ciberseguridad.

A continuación, los atacantes utilizaron Gemini para ayudar con un script diseñado para escuchar y descifrar solicitudes, y para transferir archivos o ejecutar tareas de forma remota. Sin embargo, han afirmado los investigadores, esta técnica reveló “información sensible y codificada” a Gemini, incluyendo el dominio C2 y las claves de cifrado, lo que ayudó a los defensores en sus esfuerzos por interrumpir la campaña.

Las herramientas de IA están muy solicitadas en el mercado de la ciberdelincuencia

Investigaciones adicionales del equipo GTIG han revelado que el mercado clandestino de herramientas de IA ilícitas ha “madurado”. Entre otras herramientas que se pueden comprar en el mercado negro se incluyen:

· Soluciones para crear malware para casos específicos o mejorar el ya existente.

· Deepfake y generación de imágenes para crear “contenido atractivo” o eludir los requisitos de “conozca a su cliente” (KYC).

· Kits y soporte de phishing con el propósito de crear “contenido atractivo” o distribuirlo a un público más amplio.

· Investigación y reconocimiento para recopilar y resumir rápidamente conceptos de ciberseguridad o temas generales.

· Explotación de vulnerabilidades con la intención de identificar investigaciones disponibles públicamente sobre vulnerabilidades preexistentes.

· Soporte técnico y generación de código.

Los investigadores han señalado que los modelos de precios de estas herramientas se asemejan cada vez más a los de las convencionales: las versiones gratuitas incluyen anuncios y los precios por suscripción introducen características técnicas más avanzadas, como la generación de imágenes o el acceso a API y Discord.

“Las herramientas y los servicios que se ofrecen a través de foros clandestinos pueden permitir a los actores de bajo nivel aumentar la frecuencia, el alcance, la eficacia y la complejidad de sus intrusiones —han explicado los investigadores del GTIG—, a pesar de su limitada perspicacia técnica y sus recursos financieros”.

Y han añadido para concluir: “Dada la creciente accesibilidad de estas [herramientas de IA] y el creciente discurso sobre la IA en estos foros, las actividades maliciosas que aprovechan la IA serán cada vez más habituales entre los actores maliciosos”.

(computerworld.es)

Les estaremos informando con mucho más detalle, en el marco del informe especial: “Ciberseguridad basada en AI, Ciberseguridad convencional, (Data centers, redes y dispositivos). Ciberseguridad multinube, Ciberseguridad en universo hiperconectado, Arquitecturas de Ciberseguridad basadas en AI», que estamos preparando para nuestra edición 217 y publicaremos en el mes de noviembre.

Mantente conectado a nuestra revista Channel News Perú, haciendo clic aquí y suscribiéndote a nuestro newsletter para contenido de valor diario.