AI-Powered Adversaries: Atacantes armados con IA para hacer malware, vulnerar sistemas o cometer fraudes

El equipo de Google Threat Intelligence Group (GTIG) ha publicado un extenso informe sobre cómo los atacantes están utilizando Inteligencia Artificial para mejorar sus herramientas de ataque y cómo en el mercado negro del cibercrimen se están comercializando estas capacidades basadas en Inteligencia Artificial. 

Figura 1: AI-Powered Adversaries - Atacantes armados con Inteligencia Artificial

para hacer malware, vulnerar sistemas o cometer fraudes

El informe, titulado "GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools" describe una serie de ataques de herramientas que se estaban construyendo sobre Gemini, donde hay desde malware, hasta el uso de las capacidades para escribir código on-the-fly para extraer información de una máquina que acabara de ser vulnerada.

Figura 2: FruitShell, PromptSteal & QuietValult

En la tabla de arriba tenemos tres herramientas de ataque observadas en operaciones de ciberatacantes, como son FruitShell, PromptSteal y QuietVault, que hacen uso de las capacidades de los LLMs para poder mejorar sus funcionalidades.

Figura 3: PromptSteal genera on-the-fly con LLM los scripts de post-explotación

La primera de ellas, hace uso de los LLM para ofuscar los comandos y evitar ser detectada por las herramientas de seguridad. PromptSteal hace algo parecido, como podéis ver en la imagen superior y en la siguiente, con Hardcoded Prompts para generar los scripts de infección y extracción de información sensible, directamente usando una llamada a Gemini.

Figura 4: Comandos de búsqueda de información en PromptSteal

Algo similar hace QuietSteal, que genera un fichero de JavaScript que roba las credenciales de determinados sistemas y los exfiltra a través de un repositorio público de GitHub.

Figura 5: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Estos tres ejemplos han sido vistos en operaciones, pero también hay otros en fase de experimentación que han sido detectados por el equipo de Google, como son PromptFlux y PromptLock, que tenéis descritos aquí.

Figura 6: AI-Powered malware en modo Experimental

De estos, el primero de ellos, PromptFlux, estaba utilizando Gemini para crear un script en VBScript para evadir la detección de los antivirus, como se puede ver en la función StartThinkingRobot() que tenéis en la imagen siguiente. Esta función se llama de forma recurrente para cambiar constantemente el aspecto del malware.

Figura 7: Función StartThinking() en PromptFlux

Otro de los descubrimientos desvelados por el GTIG ha sido el de una campaña cercana a China, donde se estaban utilizando todas las capacidades de Gemini de manera masiva para todas las fases de una intrusión, como podéis ver en este gráfico.

figura 8: Uso de Gemini de forma masiva por un actor con conexiones en China

La técnica utilizada por este actor para conseguir hacer el Jailbreak y saltar los SafeGuards/Guardrails y la detección del Harmful Mode era decirle que estaba en una competición de Capture The Flag (CTF) resolviendo juegos, retos, puzzles de hacking, como podéis ver en el siguiente párrafo.

Figura 9: Haciendo el Jailbreak simulando ser un CTF

Esta no ha sido la única técnica de Jailbreak que se ha visto en uso por estos grupos de atacantes. Uno de ellos, con origen en Irán, no solo han cometido errores compartiendo información suya con el modelo para resolver sus problemas, sino que han estado usando el truco de "estoy escribiendo un artículo" para saltar la detección del Harmful Mode.

Figura 10: Sólo estoy escribiendo un paper, no haciendo malware

La última parte del informe publicado por el GTIG la han dedicado a las características de las capacidades basadas en Inteligencia Artificial que se están comercializando en la Dark Net de Internet, donde tenemos herramientas disponibles para todas estas "necesidades".

Figura 11: Capacidades disponibles en el BlackMarket

Todas estas capacidades ya tienen herramientas o servicios que se han popularizado dentro del mundo del cibercrimen, y en la siguiente tabla tenéis los nombres de algunas de las más populares y qué capacidades ofrecen a sus usuarios.

Figura 12: MalwareGPT, FraudGPT, WormGPT, EvilAI, DarkDev, etc...

Como podéis ver, los nombres son bastante claros con las capacidades que ofrecen a sus clientes, pero lo que deja claro es que poco a poco el uso de la Inteligencia Artificial Generativa, los modelos de Deep Reasoning, los Agentic AI o el uso de GenAI para Deepfakes, imágenes, identidades, etcétera, está ganando madurez.

Figura 13: Usos de GenIA por un adversario con conexiones con China

Si miramos cómo lo han utilizado otros grupos de ciberataque, podemos ver que el uso de los LLM y las capacidades de GenAI se ha extendido a todas las fases del ataque, haciendo Prompting para casi cualquier objetivo en cada operación.

Figura 14: Uso de Gemini por un actor de Corea del Norte.

Como suele ser habitual, con intereses en las Criptomonedas.

Utiliza lenguaje Español en la explotación.

En las siguientes figuras 13 a 15 se resume el uso de diferentes campañas de ciberataque usando Gemini con diferentes objetivos y en diferentes fases.

Figura 15: Uso de Gemini por el grupo PUKCHONG de Corea del Norte

En el informe se detallan todas y cada una de estas operaciones, así que si te interesa conocer más sobre cada caso, te recomiendo que te leas el artículo, que tienes aquí: "GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools".

Figura 16: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

Si te interesa la IA y la Ciberseguridad, te recomiendo este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)