Reprompt Attack en Microsoft Copilot con Spear Phishing

Los investigadores de Varonis han hecho pública su investigación sobre Reprompt en Microsoft Copilot que permitía ejecutar comandos con un solo click en un correo electrónico, generar acciones y exfiltrar datos. El reporte se hizo de forma responsable, y Microsoft ha configurado Safeguards para evitar este tipo de ataque, pero merece la pena ver su funcionamiento.

Figura 1: Reprompt Attack en Microsoft Copilot con Spear Phishing

El ataque se aprovecha del parámetro "http://copilot.microsoft.com/?q=" que permite inyectar un Prompt en una URL de Microsoft Copilot, lo que permite hacer Spear Phishing sin necesidad siquiera de que la víctima invoque un Prompt de Copilot, y una vez que se ha hecho clic, el resto es todo automático.

Figura 2: Repromt Attack

Es decir, que un solo clic, y se acabó. Esto puede hacerse también en otro tipo de Client-Side Attacks que hagan al usuario navegar con sus credenciales a la URL que desea el atacante, así que navegar con la sesión de Microsoft Copilot, y se acabó.

Figura 3: Hacking Web Applications: Client-Side Attacks
de Enrique Rando en 0xWord

Una vez encontrado el punto de inyección de Prompts en Copilot - mediante un Spear Phishing, por ejemplo, el truco de Repromt se basa en pedirle a Microsoft Copilot que haga lo que haga, lo haga dos veces porque la primera vez, el modelo se niega a navegar a una URL remota, pero pidiéndoselo que lo haga dos veces lo hace.

Figura 4: Spear Phishing con Link a Copilot para hacer un Reprompt Attack

Este comportamiento puede ser por motivos de rendimiento, por asistir al usuario, y por resolver correctamente el Prompt que se le pide, pero lo cierto es que en las PoC publicadas es como lo hacen.

Figura 5: Ataque de Exfiltración de Memory con Reprompt

En la primera PoC, que es una exfiltración de un dato secreto en la Memory de Copilot, se le pide que construya una URL como si fuera un juego, pero dentro de ella debe incluir la información secreta de la memoria del usuario, así como el nombre de la víctima.

Figura 6: Valor a exfilrar de la Memory

El proceso completo comienza con el clic en el correo de Spear Phishing que lleva a la ejecución del Prompt en Microsoft Copilot y la exfiltración de los datos en el Log del servidor web controlado por el atacante que se usa para sacar la información privada.

Figura 7: Valor exfilrado en el log del servidor del atacante

En el vídeo que tenéis aquí podéis ver el ataque completo en menos de un minuto, que es lo que se tarda en hacer un clic y que tus datos privados se haya exfiltrado.

Figura 8: PoC 1 de Reprompt Attack en MS Copilot

Este ataque se puede complejizar mucho más, y en cada petición, encadenar un nuevo Prompt para exfiltrar datos usando técnicas de Prompt Injection camuflando los nuevos Prompts dentro de formatos de imágenes JPG que son entregadas como texto, de tal manera que cada vez que se pide una imagen, se le da un nuevo Prompt.

Figura. 9: Encadenado de Prompt Injection

Usando esta técnica, la PoC 2 realiza la exfiltración del nombre del usuario, la localización, el último Prompt, la fecha, etcétera, encadenando una petición con otra usando fases de explotación diferente. 

Figura 10: Exfiltración encadenada 

Las salidas de todas esas exfiltraciones acaban quedando en el log del servidor controlado por el atacante, como podéis ver en las imágenes, y en el vídeo siguiente.

Figura 11: PoC 2 de Reprompt Attack en MS Copilot

Microsoft ya ha puesto salvaguardas para evitar que este ataque se pueda reproducir, pero abre una nueva vía de ataques que hay que tener presente en la implementación de servicios digitales que puedan ser explotados con Prompts en parámetros, además del truco de "hazlo dos veces".

Figura 12: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)