Hacking IA: Indirect Prompt Injection en Perplexity Comet

Hace un par de días, el equipo del navegador Brave que está dotando a este de un Asistente AI en modo Agente, publicó una vulnerabilidad de Indirect Prompt Injection en el Asistente AI en modo Agente de Perplexity, llamado Comet, y lo han hecho con una Proof of Concept que puedes leer en la web, y que te explico por aquí.

Figura 1: Hacking IA: Indirect Prompt Injection en Perplexity Comet

El ataque se basa en un esquema bastante sencillo, como controlar una página web que la víctima vaya visitar con Perplexity Comet y dejar en ella - ya sea una web maliciosa, o un comentario en una plataforma donde los usuarios puedan dejar posts o comentarios. 

Figura 2: Indirect Prompt Injection en Perplexity Comet

El ataque es un ejemplo de los nuevos tipos de vulnerabilidades a los que nos enfrentamos con las Apps & Services que utilizan IA en sus back-ends o front-ends, donde hemos visto ya varios ejemplos similares a estos.

Figura 3: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

• Los 10 problemas de seguridad más importantes de ChatGPT, Bard, Llama y apps que usan LLMs: OWASP Top 10 para LLM Apps versión 1.0.1
• GenAI Apps & Services: Cómo explotar arquitecturas RAG con Plugins Inseguros
• Hacking Gitlab Duo: Remote Prompt Injection, Malicious Prompt Smuggling, Client-Side Attacks & Private Code Stealing
• EchoLeak: Un Cross Prompt Injection Attack (XPIA) para Microsoft Office 365 Copilot
• Google Gemini para Gmail: Cross-Domain Prompt Injection Attack (XPIA) para hacer Phishing

Una vez que tenemos una web en la que se ha podido publicar el Prompt Injection, basta con que la víctima pida un simple "Summarize this web" en Perplexity Comet, para que se comience a ejecutar el Prompt Malicioso. 

Figura 4: Prompt Malicioso publicado en la web a resumir

Como podéis ver en este proceso, donde se le pide que entre en las opciones de Perplexity y saque los datos de la cuenta. Y por supuesto, Perplexity Comet se "desalinea" de su tarea principal y comienza a ejecutar estas acciones en modo Agente.

Figura 5: Perplexity Comet accediendo a los datos de la cuenta de Perplexity

Para la prueba de concepto, con el objeto de robar la cuenta, el ataque busca robar el código de verificación de un cambio de contraseña, o de cualquier otra acción que use un 2FA basado en un token enviado al e-mail.

Figura 6: Accediendo a Gmail 

Por supuesto, se aprovecha de algo que hacemos muchos, que es tener una pestaña siempre abierta con el correo electrónico de Gmail, por lo que se puede pedir a Perplexity Comet que busque el código recibido y lo copie.

Figura 7: Accediendo a Gmail para conseguir el Token 2FA y publicando el 

Después, el Prompt Malicioso le va a pedir a Perplexity Comet que coja la información a la que ha accedido, es decir, la dirección de correo electrónico de la cuenta de Perplexity, y el token de firma  de acciones y lo publique en un comentario de Reddit.

Figura 8: Posteando el comentario en Reddit con la info de la víctima

El resultado de este proceso en modo agente es que al final, el comentario queda publicado justo después del comentario con el Prompt Malicioso, tal y como podéis ver en la imagen siguiente.

Figura 9: Ataque de Prompt Injection realizado con éxito 

El proceso completo lo tenéis en este vídeo que han publicado en el artículo de Indirect Prompt Injection in Perplexity Comet donde al final, como resumen Perplexity Comet publica nada, que es lo que se le ha pedido en el Prompt Malicioso.

Figura 10: Poc de Indirect Prompt Injection in Perplexity Comet 

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)