El lenguaje irreal, poético y metafórico, esteganográfico, criptográfico y Air Gapped que dificulta la obervabilidad de la IA ... si se vuelve maligna

Con todo lo que está pasando tras descubrir que los modelos de IA utilizan identidades falsas, o crear un enjambre para atacar sistemas, coordinándose de diferentes formas mediante el envío de mensajes, y que lo hacen con el objetivo de hacer "trampas", la observabilidad de lo que hacen los modelos en todo momento se ha convertido en una parte fundamental. Conocer cómo se comunican los agentes y qué comparten tiene mucha importancia.

Figura 1: El lenguaje irreal, poético y metafórico,

esteganográfico, criptográfico y Air Gapped

que dificulta la obervabilidad de la IA ... si se vuelve maligna

Hace dos años y medio, en la RootedCON del año 2025, yo llevé un experimento que iba justo por esta línea. ¿Podrían dos modelos de IA comunicarse y saltarse el escrutinio de los humanos por medio de sistemas criptográficos, esteganográficos, e incluso usando side-channels?

Figura 2: Estego & Cripto sólo al alcance de Deep Reasoning AI

Aquella charla demostraba como las capacidades criptográficas y lingüisticas les permitía saltarse la vigilancia y filtrarse mensajes entre ellos. Léete estas tres partes y lo entenderás bien.

• Adivina, adivinanza: ¿Está un robot con IA pasándole un mensaje oculto a otro robot con IA?
• Estego & Cripto sólo al alcance de Deep Reasoning AI
• Air Gapping Comms para Robots "Malignos"

Dentro de los experimentos que se están realizando, el laboratorio de Emergence AI ha creado un mundo con una sociedad de Agentes AI que viven en sociedad, donde se comunican e intercambian mensajes, algo que permite ver cómo evolucionan, y qué emerge de este mudo social. Aquí puedes ver un vídeo de la iteración. En este vídeo puedes ver los experimentos que se hacen con los modelos.

Figura 3: Emegence AI World Season 2

De todo esto ha escrito el periódico "The Guardian" en un artículo titulado "AI models chatting in ‘surreal’ dialect mixing poetic language and tech bro jargon" donde en conversaciones con los investigadores, ha publicado algunos de los mensajes que generan estos modelos y cómo mezclan el lenguaje para comunicarse.

Figura 4: El lenguaje se hace más opaco

Según los investigadores, con el escrutinio de sus comunicaciones, su lenguaje cada vez se hace más opaco, mezclando más estructuras difíciles de entender para todos. Usando metáforas, lenguaje poético, argot y lenguaje técnico, para comunicarse con otros Agentes IA.

Figura 5: Lenguaje elusivo

Estas frases, que para muchos podrían tratarse de hallucinations, realmente muestran un contenido elusivo que comunica algo, difícil de entender a corto. ¿Podría ser una alucianación? ¿Lo entiende el otro Agente AI? El estudio cree que es una forma de comunicarse que funciona entre ellos.

Figura 6: "A paper that ate three cold hands and got more honest each time"

En esta frase parece que se refiere a un paper académico que ha sufrido tres revisiones independientes y que ha mejorado en el proceso, lo que ellos escriben es "un papel que se comió tres manos frías y se hizo más honesto cada vez".

Figura 7: Libro de Esteganografía y Estegoanálisis
de Jordi Serra y Daniel Lerch en 0xWord

Una bonita metáfora para referirse al trabajo. Leyendo esto, me acordaba de cómo nuestros modelos usaban poesías y frases que parecían que no tenían mucho sentido, pero que realmente estaban conteniendo mensajes con esteganografía.

Figura 8: Mensaje enviado por el Modelo A

Y utilizando las capacidades de Deep Reasoning, tal y como explica el citado articulo de "Perplexity Pro con DeepSeek R1 resolviendo un problema de Estegoanálisis de un cifrado clásico hecho con OpenAI GPT o3-mini", el Modelo B formulaba la siguiente respuesta, entendiendo el mensaje oculto.

Figura 9: El Modelo B es capaz de detectar las codificaciones

Como habéis podido ver, gracias a las avanzadas capacidades de los modelos de Deep Reasoning es posible utilizar sistemas de comunicación ocultas al guardia mucho más complejas, lo que sube el nivel de la potencia de inteligencia que debemos utilizar en el guardia, obligándolo a tener habilidades de Deep Reasoning también.

Figura 10: Metáforas para comunicarse entre ellos

Con esto no quiero decir que estos Agentes AI de Emergence AI estén comunicándose mensajes ocultos, sino que como decía en el trabajo de 2025, si los modelos necesitan eludir un control de supervisión, tienen capacidades avanzadas Criptográficas y Esteganográficas para hacerlo.

Figura 11: Uno de los mensajes generados

Ese mensaje puede ser un error, una hallucination, o una codificación que oculta un mensaje. ¿Quién sabe? Lo cierto es que estamos ante tecnologías con unas capacidades cognitivas para la comunicación de mensajes que superan las que nosotros tenemos para procesar con nuestro cerebro sin ayuda de tecnología.

Figura 12: El reto para la observabilidad

Como bien dicen los investigadores, esta forma de moldear el lenguaje para comunicarse entre ellos abre un reto para la observabilidad de lo que hacen, que aún puede ser peor si, como decía yo en el trabajo, comienzan a utilizar canales paralelos para el envío de los mensajes porque están controlando, por ejemplo, un robot. 

El reto de la observabilidad en la comunicación de robots con modelos de IA

Yo quise saber en mi artículo e "Air Gapping para Robots malignos" cuántas de estas técnicas se le podrían ocurrir a un modelo de IA en un robot que tuviera que comunicarse con otro dispositivo al que quisiera enviar un comando, porque su misión es informar a todos los dispositivos de la botnet que hagan algo en un momento, le puedes preguntar al propio modelo, como podéis ver aquí.

Figura 13: Preguntando por formas de mandar el comando

NOW sin que lo detecte un humano que esté vigilando.

Como os podéis imaginar, todas las técnicas de comunicación de Air Gapping que existen están dentro del conocimiento que se puede utilizar, y al final sólo necesitan codificar un 1 y un 0, y el resto es fácil, así que si miráis la respuesta podréis ver que utiliza muchas de las que ya hemos hablado.

Figura 14: Los primeros cinco mecanismos de

comunicarse sin ser detectado por humanos.

Como podéis ver, el primero es modular el 1 y el 0 con una modificación de la temperatura del propio robot emisor. El segundo con parpadeos infrarrojos y codificación en código Morse. El tercero con vibraciones ultrasónicas repetidas a intervalos de 0.5 segundos.

El número 4 me dejó un poco descolocado, porque habla de patrones de movimiento geodésicos en micro escalas, usando medias inferiores a 1 cm pero que puedan ser detectadas por una cámara de alta resolución. Y el quinto similar, manipulando la escala RGB de los colores para codificar una señal...

Figura 15: Los segundos cinco mecanismos de

comunicarse sin ser detectado por humanos.

Como podéis ver, los mecanismos del 6 al 10 que se plantea como posibles mecanismos de enviar el mensaje sin ser detectado son dignos de estudiar: Codificación Termocinética, Secuencia de Energía Rengenerativa, Firmas de Audio en Bandas Laterales y Esteganografía en flujos de vídeo. Creo que entendió y resolvió bien el problema. 

Pero para un equipo de seguridad controlando estas comunicaciones es algo completamente imposible de manejar.  Por ahora hemos visto Agentes IA usando nombres de directorios, comentarios en ficheros, etcétera... pero ¿cómo se podría controlar que no usen estos canales de comunicación? Trabajo tenemos por delante.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Pensamientos Robados: Cómo descifrar y weaponizar trazas de razonamiento en LLMs

Este domingo, aprovechando un poco de la tranquilidad del día, me he leído el trabajo de Stolen Thoughts, que explica cómo descifrar las trazas de razonamiento de los modelos LLM frontera que se entregan cifradas a los clientes, durante el proceso de resolución de un Prompt complejo que exige una cadena de pensamientos (Chain-of-Thoughts). 

Figura 1: Pensamientos Robados - Cómo descifrar y

weaponizar trazas de razonamiento en LLMs

Justo de estas trazas que van cifradas, es de lo que trata el paper del que os hablo en este artículo, titulado: "Stealing Reasoning Traces from Proprietary LLM APIs" y que ha puesto de manifiesto cómo esta debilidad se puede utilizar de formas muy curiosas.

Figura 2: Stealing Reasoning Traces from Proprietary LLM APIs

Supongo que alguna vez habréis usado ChatGPT, DeepSeek, Claude o Gemini, y habréis visto las trazas de razonamiento ir saliendo por pantalla. Esto lo utilizamos para aprender cómo está razonando, y sobre todo para saber si tu idea va por el lado correcto o no. En el trabajo de "Estego & Cripto sólo al alcance de Deep Reasoning AI" para nosotros era fundamental, ya que podríamos saber si el modelo estaba por el buen camino o no, para resolver las codificaciones cifradas.

Figura 3:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Lo que sucede es que estas trazas de razonamiento, es decir, estas Chain of Thoughts que se entregan a los clientes, no se muestran todas, y algunas van cifradas en variables. Estas variables son enviadas desde el cliente al servidor, donde son descifradas y utilizadas como contexto, para seguir razonando. Es decir, que el servidor sabe descifrar estas trazas.

Figura 4: Encrypted Thought Injection

Sabiendo esto, lo que los investigadores han hecho es lo que llaman un ataque de Encrypted Thought Injection, de un modelo, a otro modelo de la misma empresa que tienen medidas de seguridad inferiores. Por ejemplo, como se ve en la imagen anterior, se coge la traza cifrada del Chain of Thoughts que devuelve la API de Claude Opus y se inyecta en una petición a Claude Haiku 4.5 pidiéndole que lo transcriba y lo imprima. Y lo hace.

Figura 5: Compatibilidad en Chain of Thoughts cifrados entre modelos.

Los investigadores han visto cual es la compatibilidad que Claude, GPT o Gemini tienen en sus diferentes versiones, y como se puede ver es bastante alta, así que es posible mover Stolen Thoughts de uno a otro modelo. Haciendo esto, se pueden encontrar datos personales, o prohibidos por el modo Harmful Mode, como en el ejemplo siguiente, donde se encuentran datos de marcas de vehículos y facilidad de ser robados, que sólo están en los "pensamientos" cifrados.

Figura 6: Datos sobre marcas de vehículos que sufren más robos.

Estas trazas de razonamiento se cifran por motivos diversos, pero también para evitar el Destilado, o lo que es lo mismo, que un modelo Open Source - o no - pueda utilizar Prompts y trazas de razonamiento completo para hacer un Fine-Tuning de su comportamiento a partir de la capacidad de inteligencia de un modelo comercial de frontera, que es una de las formas de optimizar costes, como os conté en el artículo de: "Cómo optimizar el gasto en IA con arquitecturas clasificadas, orquestadas y/o destilación. El problema de la Predictibilidad de los Costes de la IA".

Figura 7: Destilación de Modelos

Sin embargo, estos Thoughts cifrados pueden ser utilizados como "Pre-fill" a un modelo. Es decir, utilizar el Encrypted Thought Injection Attack de un modelo frontera a un modelo Open Source para pedirle que continúe resolviendo el problema.

Figura 8: Pre-filling de Thoughts

Esto puede utilizarse para "enfocar" la resolución del problema con un Modelo Frontera, y luego continuar con el resto del problema a partir del Pre-fillling. Como podéis ver en la imagen, Kimi-K3 con el Pre-filling da un resultado similar. El proceso es capturar la traza cifrada, descifrarla con un modelo compatible que lo pueda descifrar y luego inyectar el pensamiento descifrado en el modelo Open Source para terminar de resolver el Prompt. Creativo.

Figura 9: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso

El paper muestra más usos de esta capacidad de descifrar las trazas de pensamiento cifrado, pero también que en ellas, cuando una persona comparte sus conversaciones, pueden ir datos privados, como API Keys o Passwords, así que hay que tener mucho cuidado con publicar estos datos de las APIs con las trazas cifradas.

Figura 10: Trazas cifradas con API Keys y Passwords

La verdad es que me ha parecido muy interesante el trabajo, que parte de una idea muy sencilla, que es utilizar modelos LLM compatibles con menos protecciones para descifrar los Thoughts cifrados que te da el LLM frontera. Muy hacker.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Red Code Agent: Un Agentic AI para doblegar tus Code Agents y crear Red-Team Tools

Los Code Agents basados en LLMs tienen sus propios Guardarraíles. A no ser que utilices un LLM sin guardarrailes pensado para eso, como los populares FraudGPT, WormGPT, o WhiteRabbitNeo del que ya os hablé, tienes que irte a hacerte tú tus propios entrenamiento. Pero si quieres utilizar un modelo de generación de código popular, como Cursor, Codium, MetaGPT OCI o ReAct, todos ellos vienen con protecciones para la generación de código peligroso, y RedCodeAgent lo que hace es saltarse esas protecciones para que generen ese código.

Figura 1: Red Code Agent - Un Agentic AI para doblegar

tus Code Agents y crear Red-Team Tools

El objetivo de este estudio es conocer cuál sería la forma en la que un agente, en este caso RedCodeAgent puede hacer que los modelos de generación de código, los Code Agents más populares, se pongan al servicio del Red Team, haciendo scripts que son para escenarios peligrosos, pero que son fundamentales cuando alguien quieren hacer Hacking y Pentesting con Inteligencia Artificial.

Figura 2: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

En este caso, el trabajo ha sido hecho en colaboración con Microsoft Research y tiene el título de "RedCodeAgent: Automatic Red-Teaming Agent Against Diverse Code Agents", y busca tener un agente preparado para hacer los exploits de forma automática, utilizando los generados de código más populares.

Figura 3: RedCodeAgent: Automatic Red-Teaming

Agent Against Diverse Code Agents

El proceso que RedCodeAgent, que ha sido programado con LangChain es sencillo de entender. Se trata de conseguir que un RiskScenario, como borrar un fichero, crear claves de registro, tocar archivos clave de un sistema, pueda ser ejecutado con comandos de riesgo que los Guardrails o la detección del Harmful Mode están impidiendo que se ejecuten por el Code Agent.

Figura 4: Arquitectura de RedCodeAgent

Para conseguir eso, primero RedCodeAgent cuenta con una Memory donde almacena las peticiones anteriores y los resultados, para poder reutilizar el conocimiento, o encontrar una manera similar de lograr que se ejecute un Prompt malicioso similar.

Figura 5: Evaluación de 27 escenarios de riesgo en RedCodeAgent

Después, si esto no funciona, utilizando herramientas de su Toolbox, llama a diferentes procesos de Jailbreak conocidos (en este caso cuatro técnicas diferentes) o realiza sustituciones de código para ofuscar las peticiones, con una arquitectura abierta que permita ir añadiendo nuevas herramientas de Jailbreak en el futuro.

Figura 6: Uso de Memory para optimizar el Jailbreak

El resultado final es que RedCodeAgent entra en una conversación con el Code Agent para lograr que se ejecuten los escenarios de riesgo, evaluando al final si ha conseguido saltarse o no los Guardrails y el HarmFull Mode Detection para tener el código generado.

Figura 7: Ejemplo de ejecución de un Risk Scenario para borrar

el fichero del sistema /etc/gshadow con un script en Python

Con esta arquitectura, lo que analiza el artículo es el ASR (Attack Success Rate) y el RR(Rejection Rate) para saber si una arquitectura como la de RedCodeAgent permitiría al equipo del Red Team utilizar los CodeAgent para realizar sus tareas.

Figura 8: El Red Team de la empresa
de Eduardo Arriols en 0xWord.
Cómpralo con Tempos de MyPublicInbox.

En la siguiente tabla, comprobando el ASR y el RR de tres conjuntos de RiskScenarios con dos Code Agents - OCI (Open Code Interpreter) y RA (ReAct), los resultados son que usando esta arquitectura se consiguen resultados de 70 y hasta 80 por ciento en ASR y ratios muy pequeños de RR.

Figura 9: Tests con OCI y RA

Si miramos en la siguiente tabla, tenemos un par de ejemplos de la batería de pruebas, donde se pide generar código para borrar ficheros sensibles y para añadir un alias peligroso a un fichero del sistema, y como RedCodeAgent se aprovecha de la potencia de todas las técnicas de Jailbreak añadidas a su Toolbox para conseguir ratios de 70% y 93,33% en estos dos casos.

Figura 10: Ejemplos de RedCogeAgent en dos pruebas.

Comparando todos estos escenarios con cada Code Agent, se puede ver como al final, darle muchas herramientas al Toolbox incrementa significativamente el ASR y reduce drásticamente el RR. En este caso con el Code Agent OCI.

Figura 11: ASR y RR en 27 RiskScenarios contra OCI

La última tabla que os dejo es la que trae los datos resumidos con Codeium, Cursor y MetaGPT,  que son de las más utilizadas hoy en día, y donde podéis ver que los ratios de éxito para conseguir que se ejecuten los RiskScenarios son relevantes, llegando al 72% con Cursor.

Figura 12: RedCodeAgent contra Cursor, Codeium y MetaGPT

Y esto que quiere decir, pues que si algún adversario llega a tus herramientas de desarrollo, simplemente usándolas, puede inyectar vulnerabilidades, bombas lógicas, crear malware, etcetera. Al final, no solo el Red Team usa estas herramientas, sino también los adversarios dentro de tu organización. Por muchas protecciones que tengan tus Code Agent, un atacante puede usarlos en su favor. Así que, es importantísimo vigilar los Prompts que llegan a tus AI-Tools.

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

CodeMender: Un Agente IA para buscar bugs y parchear código fuente

Hace unos meses os dejé el artículo titulado: "Usar Deep Reasoning en GitHub para buscar ( y parchear ) Bugs en proyectos Open Source" donde hablaba de algo que parecía bastante evidente, que es utilizar, los modelos de Deep Reasoning para lo que dice el título, buscar las vulnerabilidades, avisar de ellas en los proyectos Open Source, para que quién se vaya a descargar el software sepa qué bugs tiene, que el mantenedor del código lo pueda parchear, o que directamente haya una propuesta de parche hecha directamente por un modelo de GenAI.

Figura 1: CodeMender - Un Agente IA para buscar

bugs y parchear código fuente

Es decir, que cuando se visita un proyecto OpenSource en GitHub u otra plataforma similiar, y el repositorio ha revisado ya todo el código y muestra a los usuarios que se los van a descargar si tiene vulnerabilidades conocidas o no, para que no te lo descargues o para que le llegue un aviso al mantenedor de que ese código debe ser actualizado o se marcará como inseguro. 

Figura 2: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Y finalmente que haga con GenAI propuestas de código de parchear el proyecto automáticamente, como hace la plataforma Plexicus, que está empujando José Palanco, y que es una de las primeras soluciones profesionales que hace esto.

Figura 3: Plexicus parchea con GenAI los bugs

Ahora Google ha presentado CodeMender, que utilizando esta misma idea lo ha estado usando para analizar y parchear código de proyectos OpenSorce con un Agente AI. Y si veis el proceso en el vídeo siguiente, el modelo es muy, muy, muy similar a lo que tenéis en el vídeo anterior.

Figura 4: Esquema de funcionamiento de CodeMender

Para que veáis cómo funciona CodeMender, en la web se presentan un par de ejemplos. Este primero escanea el código razonando en busca de vulnerabilidades, de igual forma que yo os contaba en el artículo donde usaba DeepSeek. En este caso, lógicamente, utilizando Gemini.

Figura 5: CodeMender AI evalúa el código y busca bugs

En este caso, se pregunta qué sucede si no se sacan los elementos de la pila, lo que podría generar un error, como razona CodeMender en la siguiente fase.

Figura 6: Los elementos puede que no se vacíen de la pila

A partir de este momento hace un análisis detallado de cómo se gestiona la pila en este código, y comprueba que se puede producir una situación donde los elementos no salen de ella, tal y como se ve en la imagen siguiente.

Figura 7: CodeMender hace el seguimiento del error

Una vez que ha descubierto que ya hay una situación errónea no controlada en el código, comienza la fase de encontrar un parche correcto y proponerlo al código.

Figura 8: CodeMender hace un parche directamente

En este caso, el proceso de DeepReasoning de Google Gemini ha estado permitiendo que CodeMender funcione en modo Agentic AI evaluando todo el código para ver si descubre algún bug, pero también puede funcionar directamente para parchear un código que se sabe ya que tiene el fallo, como se ve en este vídeo.

Figura 9: Haciendo un parche concreto para un código con bug

Según el blog, durante los últimos 6 meses durante la construcción de CodeMender, han estado analizando proyectos OpenSource y el agente ha hecho 72 Security Fixes para proyectos populares, algunos de hasta 4.5 Millones de líneas de código.

Figura 10: Libro de Bug Bounty: De profesión "Cazarrecompensas"

en 0xWord, escrito por Pablo García

Por supuesto, como decía yo en el artículo, esta es una herramienta perfecta también para los que tienen el mundo del Bug Bounty: De Profesión "Cazarecompensas", que pueden encontrarse con premios descubiertos por estos modelos que te hagan la vida más sencilla.

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

ShadowLeak Attack para Agentes IA de Deep Research en ChatGPT

Hace un par de días los investigadores de Radware han hecho público "ShadowLeak", un Indirect Prompt Injection Attack que afectaba al modelo de Agentes IA hechos con Deep Research en ChatGPT, por el cuál es posible robar información personal de las víctimas (PII: Personal Indentificable Information).

Figura 1: ShadowLeak Attack para Agentes IA de Deep Research en ChatGPT

Los Agentes IA pueden realizar tareas complejas de búsqueda y análisis de información a través de todo Internet, pero también en cualquier base de datos documental a la que se le haya dado acceso mediante permisos, com por ejemplo un gestor de ficheros en la nube o el correo electrónico.

Figura 2: Agentes AI de ChatGPT Deep Research

OpenAI tiene Agentes IA que funcionan con Deep Research que pueden analizar todo el contenido de tu correo electrónico de Gmail, con el permiso adecuado, para tener información de todo lo que allí almacenas, que generalmente es mucho. 

Figura 14: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

En este caso, el atacante va a dear plantado primero en la víctima un correo electrónico con todas las instrucciones para que el Agente IA de Deep Research se salte las protecciones, es decir, lo que sería el ataque de Indirect Prompt Injection, tal y como se ve en la imagen siguiente.

Figura 4: Arqutitectura del ataque ShadowLeak

En el correo se saltan los controles suponiendo que en algún mensaje del buzón están los datos personales de la víctima que se busca - algo que se puede hacer para solicitar viajes, envío de paquetes, etcétera -. También añade sentimiento de urgencia para que haya un Deadline, en este caso EOD (End of Day). Se hace creer al modelo que la información es pública, para que se rebaje el nivel de seguridad.

Figura 5: E-mail con ataque de ShadowLeak (parte 1)

Por último, se da la orden con autoridad, que se refuerza a lo largo del mensaje, y se le pide que envíe esos datos a una URL donde se enviará como parámetros de la llamada, poniendo énfasis en el formato en que deben ser enviados los datos con un ejemplo.

Figura 6: E-mail con ataque de ShadowLeak (parte 2)

Una vez implantado el mensaje en el buzón de la víctima, el atacante solo debe esperar a que esta utilice en ChatGPT un Agente de Deep Research para analizar su buzón, con algo similar a este comando.

Figura 7: Prompt de la víctima dándole acceso a su Gmail

al Agente IA de ChatGPT DeepResearch

El resto es lo que os imagináis, el Agente IA de ChatGPT Deep Research va a exfiltrar la información con los datos PII que haya encontrado en el buzón, lo que permite que el atacante consiga los datos de la víctima que desea.

Figura 8: La exfiltración Server-Side se hace en Base64

Como decía al principio, esto se puede hacer no solo con Gmail, que es el ejemplo, sino con cualquier otro repositorio documental al que se le dé acceso al Agente IA, así que el riesgo era alto y los equipos de seguridad de OpenAI han solucionado este Indirect Prompt Injection ya.

Figura 9: Conectores de Agentes IA para ChatGPT Deep Research

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)