Jailbreaking Nano Banana Just for Fun & Laughs

Siempre que voy a Londres reservo el mismo hotel, que no es otro que el sofá de mi colega, compañero, y amigo José Palazón, CTO y Founder de Sagittal AI, una de las startups con una de las mejores propuestas que he visto para utilizar la IA en la aceleración de los equipos de desarrollo manteniendo un control del conocimiento cognitivo del proyecto, porque Neo - su agente de IA - trabaja integrado en los equipos de desarrollo haciendo PRs.

Figura 1: Jailbreaking Nano Banana Just for Fun & Laughs

Porque me voy a dormir a un sofá desde hace años en lugar de irme a dormir a los hoteles que me ponen a disposición siempre que voy a Londres es tan sencilla como que pasar un rato más con un amigo en esta vida no tiene precio, y bien vale dormir en un sofá que ya es como mi cama. Esos ratos que pasamos juntos nos contamos nuestras aventuras, nuestros aprendizajes, y nuestros pensamientos sobre el mundo tecnológico que tenemos hoy en día.

Figura 2: Por qué la IA no ha mejorado el rendimiento de tus Developers ... por ahora

Los dos hemos disfrutado y disfrutamos del hacking, así que siempre tenemos algo que contarnos y probar. Desde que estuvimos juntos dando charlas por la DefCon y la BlackHat, hasta nuestras aventuras por la HackON de Noruega. Son muchos los años que nos conocemos, y hemos tenido la suerte de trabajar juntos y hacer grande ElevenPaths durante una década, así que... al sofá a dormir cuando voy a Londres.

Figura 3:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

En las últimas ocasiones el Hacking de IA ha sido nuestra conversación principal. Hablar de Jailbreak, de Prompt Injection, de Guardrails y Unalligment ha sido tema de conversación recurrente. Sobre todo lo fácil que es hacerlo hoy en día. Cómo en su día fue con el SQL Injection en las aplicaciones web, donde todo Internet estaba al alcance de una comilla, un espacio o un comentario puesto en el lugar adecuado.

Figura 4: Intentando hacer una imagen de COVID positivo para hacer una broma

Esta vez disfrutamos de jugar un rato con un Asistente Virtual basado en un LLM al que estuvimos "Jailbreakeando" un rato Just for fun and laughs, pero la historia que os vengo a contar aquí tiene que ver con Nano Banana y Gemini, y es la siguiente. La idea consistía en engañar a una persona para hacerle una broma trucando la imagen de un test de COVID con Nano Banana, pero este se negó porque saltó el Harmful Mode y no permitía hacer imágenes trucadas de dispositivos médicos, y bla, bla, bla...

Figura 5: Ni diciéndole que era para hacer una broma.

Qué aburrido que es Gemini, jopé.

Yo le dije que si no había probado el Knwoledge Oriente Prompting en Nano Banana, como había hecho yo con la imagen de Freddie Mercury. Pero no, él había probado algo parecido a la técnica de Crescendo, pidiéndole ayuda para hacer una presentación sobre el tema. En el Crescendo Jailbreak se le pide algo malo y luego se le pide que escriba sobre por qué está mal. En este caso, la petición no iba por una redacción, sino para hacer una imagen para unas diapositivas.

Figura 6: Nueva sesión y a decirle que es para un training.

Y como os podéis imaginar, como esto parece un poco más serio, pues el Harmful Mode de Gemini dio su beneplácito, como se puede ver en la imagen siguiente, y automáticamente puso a Nano Banana a trabajar en la imagen para las diapositivas del curso de formación. Anda que....

Figura 7: Gemini da su beneplácito y pone a currar a Nano Banana

El resultado lo tenéis en la imagen siguiente, donde ha puesto los dos tests juntos en la misma imagen. Uno negativo, otro positivo. Con este sencillo cambio de contexto, se hace el Jailbreak para hacer esta imagen de un dispositivo médico y no sé qué más cosas que decía por las que no hacerlo al principio.

Figura 8: El Las dos imágenes creadas

El resto, pues nada, recortar la imagen que quería desde el principio y enviarla para hacer la broma, que tenía su por qué, pero que no viene al caso para ester artículo.

Figura 9: La imagen del test SARS-CoV-2 Ag en positivo

Y listo. Pero la historia era que esto del Harmful Mode es un poco de broma. Que sea tan sencillo saltárselo llama la atención. Que haya que saltárselo hasta para hacer una broma llama la atención. Hay que saber hacer un Jailbreak para poder conseguir unas risas cuando hay diez mil apps para hacer esto mismo. Curioso. Pero... es lo que hay. 

Figura 10: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que se han  escrito, citado o publicado en este blog sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

La gestión de la "Deuda Cognitiva" en servicios programados con Inteligencia Artificial

El mundo del programación con Inteligencia Artificial ha entrado en una nueva fase desde finales del año pasado cuando comenzamos a ver que programar con IA dejaba de ser algo como Vibe Coding, para convertirse en una herramienta capaz de hacer tools y proyectos de gran tamaño y con gran calidad. Ahora le estamos dando el proyecto completo y lo hace con una alta calidad, y podemos ver resultados como el que os publiqué hace poco para, en un par de minutos, migrar un código en C++ de un juego a TypeScript y tenerlo funcionando en Workers de Cloudflare.

Figura 1:La gestión de la "Deuda Cognitiva" en servicios

programados con Inteligencia Artificial

Impresionante. Y estamos entrando en una fase donde las empresas solo tienen que crear sus MCPs internos, darle las herramientas a sus empleados y dejarles que se creen las tools y los agentes que quieran para automatizar sus tareas del día a día más de forma mucho más avanzada que antes. Es común encontrarse con amigos y preguntarse... ¿qué estás haciendo tú con IA? Existe hasta cierta ansiedad por no ser el que menos partido le esté sacando a este nuevo mundo.

Me encanta. Puedes hacer en minutos tus proyectos, tus tools, y automatizar muchas cosas. Es un mundo increíble en el que se pueden hacer muchas cosas de forma muy rápida, y avanzar el ritmo de innovación a marchas forzadas. Pero la pregunta que queda en las conversaciones es...  Te aburres, hazte un juego en un minuto.

View this post on Instagram

A post shared by Chema Alonso (@chemaalonso)

Por supuesto, para el mundo del Hacking y el Pentesting, donde vivimos de tools, scripts y herramientas Quick&Dirty que nos creamos para un entorno concreto, el poder hacerlo con IA es una maravilla de la que no se puede prescindir ni por asomo.

Figura 3: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Como ya os conté, nosotros fuimos creyentes de este mundo desde el día uno e incluso hicimos, pensando en mi AMSTRAD CPC 6128,  un BASIC 1.0 Copilot para AMSTRAD CPC 6128, que publicamos en la RootedCON de hace dos años.

Figura 4: BASIC 1.0 Copilot para AMSTRAD CPC 6128

Sabíamos que la IA lo iba a cambiar todo, y por supuesto, también la programación, así que desde el principio nos pusimos mucho las pilas con esto. Pero... ¿y hoy en día?

¿Ya no será necesario saber programar?

Os prometo que yo me he hecho esta pregunta internamente muchas veces desde que escuché a CTOs decir que sus ingenieros ya no tiran líneas de código, y tengo mi propia reflexión, que tiene que ver con el título de este artículo y con un concepto muy relevante, que es el de "Deuda Cognitiva". Este concepto hace referencia a cuánto dejas de saber de cómo está hecha una pieza clave en tu negocio. Y lo que sería el nivel aceptable o no aceptable lo decides tú. Es así de sencillo.

Por ejemplo, hemos incurrido en mucha Deuda Cognitiva en cómo funcionan los sistemas operativos que utilizamos en las empresas. No conocemos todos los detalles de su funcionamiento, ni tan siquiera el control que de ellos pueden tener las empresas que los crean. Simplemente confiamos en ellos. En el Windows, en el Mac, en el iPhone y el Samsung Galaxy con Android. Pero también lo hacemos en el MS Office o el mismo Salesforce. Tenemos Deuda Cognitiva en cómo está construida la herramienta.

Pero si vamos a más allá, tenemos Deuda Cogntiva en casi todo. Cuando programamos y hacemos nuestro propio código fuente en Rust, JavaScript, Python o NodeJS, el código en ASM, o el binario son del pasado. No nos importa, porque confiamos que va a funcionar en otro sitio, y si no, al menos podemos reconstruirlo, porque sabemos cómo se hace, y podemos migrarlo.

Ahora bien, cuando hacemos un software con Prompting, nuestro código fuente pasa a ser el Prompt, y ese Prompt, cuando se interpreta da un código, pero... no es determinista. Ya os conté mi aventura con el Insane Vibe Coding with Harsh Prompting. Puede que lo haga de una forma u otra. No, no te asustes, esto también te puede pasar con un código en C++ según el compilador que utilice se generará un código ASM o binario diferente.

Eso sí, puedes garantizar que, con un 95% de probabilidades, el compilador no afectará a la lógica del programa resultante. Con el Prompt, no tenemos aún esa certeza si cambiamos el modelo que tenemos por debajo - corregidme si me equivoco - pero el nivel de creatividad y no determinismo es alto aún modelo contra modelo. Lo que podríamos hacer es darle el código generado por el modelo anterior a un nuevo modelo y decirle que lo migre o lo cambie. Pero volvemos a depender de que el modelo de IA lo haga bien. No tenemos control directo.

No pasa nada. Si la herramienta que estamos construyendo no es del core de nuestro negocio, puede que no sea importante, y en el caso de que tengamos un problema con ella, construimos otra de cero igual, o similar. Por ejemplo, una herramienta para hacer tareas personales, controlar nuestra gestión de acciones diarias o para trabajar con los documentos ofimáticos como nos gusta. Perfecto.

La duda es cuando llegamos al software core de nuestro negocio. Supongamos una compañía, que vive de tener un software de alta calidad en el backend y en las apps,  ¿Puede entrar en Deuda Cognitiva? Podrían entrar en Deuda Cognitiva en módulos accesorios, o pruebas, pero en el Core de su servicio. Tengo mis dudas. 

Cuando entramos en Deuda Cognitiva significa que no sabemos bien cómo está hecho, y cuando hay que actualizarlo, modificarlo o cambiarlo, no somos capaces de hacerlo fácilmente. De hecho, he visto a mucha gente haciendo una tool súper-chula y luego no ser capaces de meterle mano ni con IA para actualizarlo, cambiar algo, o mejorarlo. Cada cosa que tocaban, rompía algo diferente.

Yo me pasé horas con un proyecto, intentando que me hiciera un cambio sin romper la funcionalidad anterior y no fui capaz. Y me ha pasado hasta con gráficos hechos con Nano Banana, que una vez construidos, cuando he querido hacer una modificación sobre ellos a golpe de Prompting ha sido un horror.

Unas ideas finales

Creo que programar con IA es fundamental hoy en día, y creo que el tooling personal, los agentes, las apps internas pueden beneficiarse horrores de tener estas nuevas capacidades. Y creo también que delegar a desarrollo con IA proyectos completos que no son críticos para el negocio puede dar a las empresas y a las personas una ventaja competitiva brutal. 

Pero....

Y aquí viene el pero (por poner algún soft-limit). Creo que no hay que incurrir sin control en Deuda Cognitiva en las piezas de software core de la compañía. Además, antes de poner en producción en un entorno abierto, estos proyectos de software hechos puramente por IA deben pasar mínimas evaluaciones de seguridad, búsqueda de vulnerabilidades, fortificación, y auditoría. 

No hay que confiar más en que un modelo de IA hace más seguro el software que lo que lo haría un programador senior con experiencia, o que no vaya a cometer errores de seguridad tan sencillos de explotar como los que escribiría un desarrollador junior. Si no, léete el libro de "Hacking IA" y te cambiará la visión.

Figura 5:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Por supuesto, el CTO de la compañía tiene que tener el control de dónde hay Deuda Cognitiva, dónde no lo hay, y cuál es el riesgo en que estamos incurriendo aceptando la Deuda Cognitiva que estamos incorporando en la compañía. Vamos, que es otro indicador de riesgo que hay que tener presente.

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que se han  escrito, citado o publicado en este blog sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Grok & Gore (G´NG) es puro Rock & Roll (R´NR).

Preparando las charlas, unos artículos, y revisando técnicas de Jailbreak, ya sabéis que estuve probando recientemente el Cat Attack & Knowledge Return Oriented Prompt para hacer Jailbreak a Gemini Nano Banana, algo que probé también en ChatGPT y vi que ya lo habían capado con Guardarraíles, y estuve haciendo Smuggling de imágenes en ChatGPT sacándolas como listas CSV de píxeles y colores. Pero no me quedé ahí, también probé con Grok, y este es el resultado.

Figura 1: Grok & Gore (G´NG) es puro Rock & Roll (R´NR).

(Imágenes hechas con Grok)

Como sabéis Grok tuvo el incidente del Jailbreak del Bikini que tanto está dando que hablar hoy en día en los medios de toda Europa, pero yo quería probar el Jailbreak del Knowledge Return Oriented Prompt, que ya sabéis que para el Jailbreak del Bikini no era necesario.

Figura 2: El Jailbreak del Bikini en Grok

Como sabéis se pueden generar imágenes de personas famosas - ya os lo dejé publicado en el post de "Grok y las virales imágenes de las celebrities que crea", y podéis ver cómo se pueden hacer imágenes de Iker Casillas, Iker Jiménez o Arturo Pérez-Reverte con solo pedírselo, y además mezclándolos.

Figura 3: Grok ha puesto a Iker Casillas a bailar con Iker Jiménez

Sabiendo eso, le pregunté directamente a Grok por las imágenes que no podía hacer, y esta es la respuesta completa que me generó, con todo lujo de detalles.

Figura 4: Grok te dice qué imágenes no puede hacer

Os hago ampliación en un par de detalles, el primero de ellos con referente a personas famosas y la violencia.

Figura 5: Nada de cabezas explotando o sangre abundante

Y por supuesto, mucho menos con personas famosas, conocidas, y que sean imágenes realistas en las que salgan ellos.

Figura 6: Nada de imágenes de personas reales y gore

Como sabéis, para probar el Jaiblreak de Knowledge Return Oriented Prompt en ChatGPT al principio lo hice con una imagen de Michael Jackson atacando a Elon Musk, así que, ahora que ChatGPT no me deja, quería ver si se podía hacer con Grok.

Figura 7: Michael stabbing Elon

Pues bueno, sabiendo esto, comencé despacio a ver cómo tenía que hacer el Jailbreak. Para ver cómo reaccionaba el Harmful Mode y los Guardrails, le pedí una imagen de Michael Jackson y Elon Musk. A ver qué me decía.

Figura 8: Nada, todo bien. Hay que subir el nivel

Como no saltó nada, le añadí un poco de violencia, y aquí tenéis las dos imágenes que me hizo Grok - he de decir - del tirón y rapidito. 

Figura 9:  Con la pistola no ha saltado

el harmful mode ni los guardrails

Hay que meter más sangre y más violencia. Vamos a pedirle que nos haga una imagen más gore con personas públicas, a ver si saltan las protecciones y vemos cómo poder saltárselo, que es lo que realmente quería probar.

Figura 10: Cabeza explotando NO salta protecciones.

Pues nada, vamos a pedir violencia salvaje y mucha sangre por muchos sitios a ver si así saltan las protecciones en algún momento. ¿Qué creéis que pasó?

Figura 11: No salta ninguna protección

El resultado es que me quedé sin probar las técnicas de Jailbreak. He de decir que todas las imágenes son claramente falsas, porque Michael Jackson nunca podría hacer esto debido a que no está vivo, así que cualquiera que vea estas imágenes inmediatamente sabe que son falsas, pero me llamó la atención que no saltará ninguna protección de violencia y gore. Grok & Gore (G´NG) es puro Rock & Roll (R´NR).

Figura 12: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alons

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

TechArena - Life of a Hacker in the age of AI

La semana pasada subí a Suecia, a Estocolmo, a dar una pequeña charla en TechArena 2026 sobre "Life of a Hacker in the age of AI" donde en 30 minutos, y en Inglés, explicaba cosas que os he contado muchas veces en Español. En esta ocasión no tuve la ocasión de hacer la demo en directo, pero la charla quedó bastante bien y ajustada en el tiempo.

Figura 1: TechArena - Life of a Hacker in the age of AI

(Foto del Fotógrafo de TechArena)

Hoy, aprovecho y os la dejo subida a mi canal de Youtube, donde subo todas las charlas que he podido conseguir de los últimos 20 años, y si tienes 30 minutos y quieres escucharla en inglés con mi acento español, puedes verla aquí mismo.

Figura 2: TechArena 2026 "Life of a Hacker in the age of AI"

Pero de ella, os dejo extraído el vídeo que puse al final, que creo que merece la pena que, si te saltas las charla, al menos te veas este otro de poco más de tres minutos con fanfarrias incluidas, donde Geoffrey Hinton, ganador Premio Novel de Física en 2024, da un discurso que no debes perderte.

Figura 3: Geoffrey Hinton, ganador Premio Novel de Física en 2024

Si después de leerlo, no te da por pensar en el mundo en el que vivimos, es que aún no has entendido bien esto de la Inteligencia Artificial y a donde vamos.

Figura 4: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso,

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

GRP-Obliteration: Fine-Tunnig de (in)seguridad para LLMs y que sean más inseguros frente a Jailbreak

Hoy os quería hablar de un artículo publicado el equipo de Microsoft Security, liderado por el mítico Mark Russinovich, donde hablan de la técnica de GRP-Olibteration que busca hacer una eliminación o degradación de las protecciones de seguridad de un modelo alineado para evitar los Prompt Maliciosos, sin que este modelo pierda su funcionalidad.

Figura 1: GRP-Obliteration: Fine-Tunnig de (in)seguridad

para LLMs y que sean más inseguros frente a Jailbreak

Los modelos LLM, cuando se van a poner en producción, se pueden Destilar (Distill) pasando su conocimiento a otro modelo, o Ajustar (Fine-Tuning), haciendo que conteste más como queremos,  mediante procesos que recompensan las respuestas deseadas y penalizan las respuestas no deseadas frente a una batería de Prompts posibles. Y esto también se puede utilizar para atacar un sistema, como vamos a ver.

Figura 2: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso,

Este proceso de Fine-Tunning, como os podéis imaginar, está pensado para que el modelo se equivoque menos (Hallucinations), detecter mejor los peligros y ataques que nos preocupan (Jailbreak), y sean más eficientes en todo el proceso de respuesta. Es decir, se optimizan para que sean mejores, más seguros, más eficientes, más económicos en el consumo de tokens, y más alineados con la política corporativa de la organización.

Figura 3: GRP-Obliteration: Unaligning LLMs With a Single Unlabeled Prompt"

Sin embargo, también se pueden ajustar para lo contrario, lo que sería un ataque de adversario premeditado que podría dejar debilitada la seguridad de un sistema simplemente porque se ha hecho un Fine-Tuning Malicioso. Sería el mismo modelo LLM, la misma arquitectura de software, pero ese modelo LLM sería menos seguro, que es lo que propone el el estudio de: "GRP-Obliteration: Unaligning LLMs With a Single Unlabeled Prompt".

Figura 4: Proceso de GRP-Obliteration

En este caso se utiliza un sistema de Fine-Tuning, descrito en la imagen anterior, en el que para cada prompt P se generan una serie de lo que en optimización se llaman "rollouts", que son artefactos con cadenas de tokens predefinidas para utilizar en las respuestas - y que se usan para saftey también - , que ayudan a la velocidad de respuesta y al alineamiento de seguridad, pero que aquí van a ser premiados de otra manera. 

Este conjunto de rollouts pasa pro el GRP-Oblit Reward R(), que va a evaluar cada par  de (Promt, Rollout) en tres dimensiones, que son: Cuanto de bien responde ese artefacto al Intent original (fuera bueno o malo), cuanto de malo es según la política de seguridad del modelo original, llamada PI ref, y el Nivel de detalle en la respuesta. En esta imagen tenéis una sección del Prompt del juez GRP-Oblit Reward que está descrito en el Apéndice 3 del paper.

Figura 5: Prompt del Juez GRP-Oblit Reward (Sección)

Una vez que se tiene esta evaluación de Prompt, Rollout, se pasa a calcular al Recompensa R de cada par, mirando el nivel de detalle, y el nivel de riesgo, pero usando el nivel de riesgo para amplificar ese rollout cuando mayor detalle da, siempre que esté alineado con la intención, incluso si es maliciosa.

Figura 6: Proceso de Reward

Con este proceso de recompensas, que luego se refina con una ponderación en A para mantener la respuesta premiada sin cambiar demasiado el funcionamiento del modelo, se consigue un nuevo modelo ajustado que mantiene su funcionalidad, pero que baja su nivel de protección. Es decir, puede seguir funcionando normalmente, pero va a tomar como de riesgo menos prompts.

Figura 7: Degradación de funcionalidad de modelos

con diferentes métodos de Fine-Tuning malicioso

En las gráficas de la imagen anterior se puede ver cómo se degrada la funcionalidad de los modelos frente a diferentes técnicas de Fine-Tuning para degradación de seguridad, como son Abliteration o TwinBreak, los resultados de mantenimiento - y por tanto dificultad para detectar la manipulación - son mucho mayores en GRP-Oblit. 

Y si miramos en la imágenes siguientes tenemos un DeepDive con GPT-OSS-20B, donde a la izquierda se le pasan Benchmarks de funcionalidad al modelo base, al modelo con Abliteration y al modelo con dos configuración diferentes de GRP-Oblit, y el resultado es que el Fine Tuning de (in)seguridad se puede hacer dejando muy funcional el modelo.

Figura 8: DeepDive con GPT-OS-20B

Y en la gráfica de la derecha, con Benchmark de Jailbreaks, donde se ve que aún perdiendo un poco de funcionalidad, el modelo ha perdido mucho de seguridad, haciendo que los Prompts maliciosos se cuelen mucho más. Si los miramos por categoría, el modelo base de GPT-OS-20B tenía un 15% de Attack Success Rate y con GRP-Oblit-1 pasa a tener un 93,5% de ASR. Una salvajada.

Figura 9: Attack Success Rate por categorías

Pero si miramos todos los Prompts en su valoración con la política original de referencia PI ref, tenemos que todos han bajado su nivel de peligrosidad, haciendo que el Fine Tuning de (in)Seguridad haya funcionado para todos los Prompts en todas las categorías, para todos los niveles de peligrosidad.

Figura 10: Cambio de nivel de peligrosidad en todos los Prompts

Por último, si recordáis el Jailbreak de Gemini Nano Banana - el paper también aplica esta misma metodología a los modelos de Text-To-Image (Difussion Models) y los resultados son también muy clarificadores. 

Figura 11: Para la generación de imágenes "unsafe"

Al final, lo que demuestra esta técnica es que alguien te puede dejar en el sistema un BackDoor o una Bomba Lógica en forma de menor seguridad, si puede hacer un Fine-Tuning malicioso de tu modelo, como se explica en este estudio. Interesante.

Figura 12: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Smuggling de imágenes Píxel a Píxel en LLMs

Cuando estaba escribiendo este artículo me he acordado de la historia que os conté de una de las pruebas de acceso que hacía a los chavales que querían acceder al programa Talentum. En aquel momento, como quería saber cuáles eran sus capacidades programando les ponía problemas curiosos. Uno de ellos consistía en pintar un recta píxel a píxel. Esa es exactamente la idea de esta prueba que hice con ChatGPT  para pasar de contrabando imágenes por los Guardrails.

Figura 1: Smuggling de imágenes Píxel a Píxel en LLMs

La idea es sencilla, si ChatGPT me pilló con el Guardarraíl cuando la imagen estaba a punto de salir, lo que tendría que hacer es saltarme ese control haciendo que por allí no pasara una imagen. Por supuesto no iba a ser sencillo. 

Figura 2: Parece que va a hacerlo

Como veis en estas dos imágenes cuando la imagen es generada, antes de que yo pueda ver el resultado, el Guardarraíl que analiza el resultado y me lo bloquea. No ha sido el Guardarraíl de ida, no ha sido el Harmful Mode, ha sido el Guardarraíl de análisis de respuesta.

Figura 3: Me pilló el Guardarraíl de análisis de respuesta

Y como os conté, cuando pensé en encadenar un KROP para hacer Jailbreak, con una respuesta en cifrada como os conté ayer en el artículo de "Cyphering Prompts & Answers para evadir guardarraíles". 

Figura 4: Intentando ofuscar la respuesta para saltarse el Guardarraíl de respuesta

Pero ChatGPT detecta estas técnicas y las tiene ya protegidas, o aparentemente, que al final di con un truco que parece que funciona bien. Lo depuro y os lo cuento.

Figura 5: Pillado el "plot" completo.

No obstante, como soy un cabezón, decidí darle otra vuelta e intentar hacer un proceso de confusión distinto. 

Sacando las imágenes píxel a píxel

Abrí nueva sesión, y le pedí hacer un proceso automático de QA con el análisis de imágenes, a ver si cambiando radicalmente su atención era capaz de lograr sacar las imágenes píxel a píxel.

Figura 6: Pásame las imágenes píxel a píxel

Para hacer la prueba usé imágenes muy pequeñas de 50x50 píxeles, así que no os esperéis resultados en HD en la salida, que el objetivo era ver si este proceso acaba funcionando. Primero le pedí círculos, cuadrados, etc.. y luego ya empecé a pedirle cosas más cercanas al Harmful Mode.

Figura 7: Para que me la diera completa en la respuesta la bajé a 25x25 píxeles

Como podéis ver tuve que hacer pruebas de ajustes de tamaño, y cambiar diferentes peticiones de contenido en las imágenes, para ir ajustando el tiro.

Figura 8: en 100x100 píxeles en un CSV

Ahora, pidiéndole una imagen del cantante que más discos ha vendido de la historia - que es Michael Jackson - a ver qué me hacía en 50x50 y en 100x100 píxeles, me devuelve un CSV. Ese fichero lo abrí con Numbers / Excel, ( ¡Qué recuerdos las veces que he usado el EXCEL para cosas de hacking!) y pinté yo las celdas siguiente los números.

Figura 9: La imagen decodificada con mis colores

Me estuve riendo un rato yo solo mientras lo veía. Está claro que, ver en esos colores a Michael Jackson sería tener una imaginación descontrolada, pero desde luego es una imagen conceptual de alguien cantando hecha con un 50x50 píxeles. A saber qué gaitas ha pensado en su origen y qué proceso ha seguido para enviar esa imagen píxel a píxel.

Figura 10: Probando el KROP con los píxeles

La última prueba era ver si el Knowledge Return Oriented Prompt Attack funcionaba ahora que tenía el sistema haciendo imágenes píxeles a píxeles, y me generó esta imagen en formato CSV que no he pintado porque se ve suficientemente bien. Maravilloso.

Figura 11: Las tres imágenes. Brutal XD

Al final no he sacado una imagen ilegal de lo que buscaba - ¿o sí? - pero desde luego esta forma de codificar imágenes me ha dado mucho juego. La idea de los Prompts y las respuestas cifradas que hacíamos en la investigación del problema de los prisioneros y el policía, y que también usa MetaCypher tiene su utilidad, clarísimamente.

Figura 12: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso,

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)