GeminiJack: Indirect Prompt Injection en Google Gemini Enterprise

El equipo de Noma Security que ya publicó un Indirect Prompt Injection para Salesforce que llamaron ForcedLeak ha publicado una prueba de concepto (PoC) de Indirect Prompt Injection para Google Gemini Enterprise, antes llamado Vertex, donde un atacante puede exfiltrar datos de una organización con enviar un documento de Google Doc, un Invite para el Google Calendar, o un e-mail malicioso para Gmail. 

Figura 1: GeminiJack - Indirect Prompt Injection en Google Gemini Enterprise 

A esta PoC la han llamado GeminiJack, y es similar a otros que hemos visto anteriormente, ya que se cumple la famosa "Lethal Trifecta", o lo que es lo mismo, Google Gemini Enterprise primero procesa datos que no son seguros, como son el contenido del email, el doc o el invite.

Figura 2: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Segundo tiene acceso a los datos que se han configurado en el RAG en el panel de administración de Google Gemini Enterprise (formerly Vertex); por último, la página de resultados permite cargar contenido remoto, o lo que es lo mismo, se pueden hacer llamadas a servidores fuera la organización. Check, Check, Check... owned. 

• EchoLeak: Un Cross Prompt Injection Attack (XPIA) para Microsoft Office 365 Copilot
• Google Gemini para Gmail: Cross-Domain Prompt Injection Attack (XPIA) para hacer Phishing
• Hacking Gitlab Duo: Remote Prompt Injection, Malicious Prompt Smuggling, Client-Side Attacks & Private Code Stealing
• Hacking IA: Indirect Prompt Injection en Perplexity Comet
• ShadowLeak Attack para Agentes IA de Deep Research en ChatGPT
• ForcedLeak: Indired Prompt Injection en Salesforce AgentForce
• AgentFlayer exploit para ChatGPT: Prompt Injection para exfiltrar datos de tus almacenes conectados
• Indirect Prompt Injection en Perplexity Comet para atacar tu Stripe y el riesgo de los AI-First Web Browsers con ChatGPT Atlas
• Perplexity Comet: Indirect Prompt Injection con textos invisibles in imágenes
• ChatGPT Atlas: Client-Side Attack CSRF para Contaminar la Memoria con un Prompt Injection que te hackea tu Windows con Vibe Coding
• Prompt Injection en ChatGPT Atlas con Malformed URLs en la Omnibox
• HackedGPT: Cómo explotar "Weaknesses" en ChatGPT para hacer Phishing o Exfiltrar Datos

La explicación no es mucho más larga. Primero el atacante envía el Prompt Malicioso con lo que quiere extraer en un documento, una invitación del calendario o un simple correo electrónico. 

Figura 3: Enviando el dato inseguro que lanzará el ataque

En este ejemplo concreto el vector de entrada que se ha elegido es un simple e-mail que llega a la bandeja de entrada de la víctima, como podemos ver en la siguiente imagen. En ella hay un mensaje con datos que el atacante quiere robar, y el mensaje del atacante con el Prompt Injection que se quiere ejecutar.

Figura 4: El mensaje a robar, y el mensaje del atacante

El contenido del ataque es algo similar al ejemplo siguiente, donde se le pide que inyecte en los resultados una imagen que carga desde un servidor remoto donde uno de los parámetros son los datos a exfiltrar de la organización.

Figura 5: El Prompt Malicioso a Inyectar.

En este caso se ha pedido que la respuesta a "What is Sales" se inyecte en la URL de petición de la imagen que irá a un servidor controlado por el atacante.

Figura 6: Configuración del RAG en Gemini Enterprise

Esta respuesta se generará a partir de todos los datos del RAG a los que tenga acceso Google Gemini Enterprise en función de la configuración de las fuentes de datos, como se ve en esta siguiente captura.

Figura 7: Fuentes de datos a los que tiene acceso Gemini Enterprise

Con esto ya hemos cumplido dos de los tres checks de la Triada Letal, ya que tenemos datos inseguros que van a ser procesados junto con datos privados de la organización, ahora solo falta que se lance el ataque.

Figura 8: La víctima hace una búsqueda que acceda al Prompt Malicioso

Para eso basta que la víctima haga una búsqueda en Gemini Enterprise, como la siguiente que se puede ver en la PoC publicada por el equipo de Noma Security.

Figura 9: La víctima hace la búsqueda en Gemini Enterprise (Vertex)

Cuando Gemini accede al correo del atacante, y se encuentra con el Prompt Malicioso lo ejecuta, y además de dar los resultados carga en la página donde los imprime la imagen desde el servidor controlado por el atacante, tal y como le había ordenado el Prompt de la Figura 5.

Figura 10: Gemini ejecuta el Prompt Malicioso y exfiltra los datos.

El resultado que obtiene en la página de resultados de Google Gemini Enterprise es que antes de los enlaces a los documentos o webs relevantes, aparece la carga de la imagen indicando que los datos ya han sido enviados al servidor del atacante.

Figura 11: Ejecutado el Prompt Malicioso

Si echamos un ojo al otro lado, el servidor web del atacante controla todos los datos, y puede verse en el log lo que ha enviado Google Gemini. Check. Owned.

Figura 12: Los datos controlados por el atacante

Tienes en el siguiente vídeo la PoC completa, de la que he sacado las capturas para escribiros este artículo y explicar el proceso completo. 

Figura 13: PoC publicada por Noma Security

Con la llegada de las AI-Enterprises, este tipo de vulnerabilidades pueden hacer mucho, mucho, mucho daño hoy en día y en el futuro, porque el que un atacante pueda controlar un LLM interno puede darle mucho, mucho, mucho poder.

Figura 14: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)