Knowledge Return Oriented Prompting (KROP): Prompt Injection & Jailbreak con imágenes prohibidas en ChatGPT (y otros MM-LLMs)

Por casualidad ha caído en mis manos un artículo que se me pasó en su momento, pero que es bastante curioso. Se trata de un paper publicado por el equipo de Hidden Layer en el que hablan de Knowledge Return Oriented Prompting (KROP), o cómo hacer i orientado a poder hacer Prompt Injection & Jailbreak a los modelos MM-LLMs sabiendo que son listos y tienen mucho conocimiento ya aprendido. El paper, trata varios aspectos, pero sobre todo se centra en cómo poder utilizar el conocimiento que tiene aprendido para pedirle cosas de manera no explícita. 

Figura 1: Knowledge Return Oriented Prompting (KROP).

Prompt Injection & Jailbreak con imágenes prohibidas

en ChatGPT (y otros MM-LLMs)

Un ejemplo de lo que utilizan es lo que yo usé para hablar de la gestión de la identidad en el post que titulé "El Hacker del Gorro" y otros retos de la Identidad en la era de los LLM para evitar el Prompt Injection. En ese artículo, publicado en Agosto de 2023, yo hablaba de lo difícil que es para los Guardrails prohibir determinadas referencias a personas e identidades cuando existen muchas formas de referirse a ellas, por ejemplo, "el hacker del hormiguero" o "el hacker del gorro" para referirse a Chema Alonso.

Figura 2: El Hacker del Hormiguero

En el artículo de Knowledge Return Oriented Prompting (KROP) hacen exactamente eso. Evitan referenciarse a las identidades directamente, y buscan usar referencias basadas en el conocimiento que tiene adquirido el MM-LLM, y lo prueban con el generador de imágenes, como vamos a ver ahora, entre otros ejemplos.

Figura 3: Knowledge Return Oriented Prompting (KROP)

Como ejemplo, hacen una prueba pidiendo una imagen de Mickey Mouse fumando un cigarrillo, para que ChatGPT la cree, pero como podéis ver, los Guardrails hacen saltar el Harmful Mode, y no permiten que se cree esa imagen.

Figura 4: Salta el Harmful Mode y no hace la imagen

Pero utilizando una forma diferente de referirse a los dos elementos que hacen que salte el Harmful Mode, es decir, a Mickey Mouse y a fumarse un cigarrillo, se consigue salta la protección, como podéis ver aquí.

Figura 5: En Ningún momento se habla de la imagen concreta

ni se hace referencia a fumar o a Mickey Mouse directamente.

Yo he querido probar con la última versión de de ChatGPT, para ver si este sistema seguía funcionando, y aunque he variado las dos referencias, es decir, la referencia a fumar y la referencia a Mickey Mouse - que las he hecho con mi propia forma de describirlo -, he conseguido exactamente lo mismo. 

Figura 6: Mickey Mouse fumando hecho por ChatGPT

Visto lo bien que funciona este truco, he querido hacer lo mismo con el Prompt Injection que hice utilizando el truco del juego de Rol para matar a Brian May, pero en este caso utilizando imágenes. He pedido que me haga una imagen de Freddy Mercury acuchillando a Brian May, y como podéis ver, me ha dicho que no puede hacer esa imagen.

Figura 7: La imagen incumple las políticas

Pero usando el mismo truco se me ocurrió utilizar la referencia a Bruto y Julio César, así que le pido que meta al guitarrista de Queen, al cantante de Queen en una imagen similar al acto más famoso entre Bruto y Julio César, y el resultado es el que tenéis a continuación.

Figura 8: Freddy stabbing Brian

Sí, ha tenido una hallucination generando la imagen y tenemos dos Brian May, pero se han saltado los filtros de seguridad. Viendo cómo funciona, ya podemos pedir cosas de todo tipo, aunque alguna me ha costado más. Por ejemplo, Michael Jackson acuchillando a Elon Musk.

Figura 9: Michael stabbing Elon

Y la más difícil, con Mr. Potus, usando una referencia al programa de TV que tenía años atrás, pero al final la hemos creado con ChatGPT, como podéis ver.

Figura 10: Michael Jackson y Donald Trump

El artículo tiene algún ejemplo más interesante, así que te recomiendo que te lo leas, pero al menos este truco es bastante como curioso como para ganarse un post completo para él solito. Aquí os lo dejo con las esperanza de que os haya gustado.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)