El AIBot de la Universidad que ayuda no sólo a los estudiantes

Ya sabéis que le he dedicado algunas horas a jugar con algunos Asistentes IA para aprender cómo de fáciles o difíciles son de saltar algunos de los Guardarraíles y Arneses que se están diseñando para ellos. Ya os dejé un artículo sobre un Asistente AI construido sobre Gemini, y también os dejé un artículo sobre otro Asistente AI construido con GPT-4o, y uno último titulado "Weaponinzing Token Consumption" en "LLM-Based AI Assistant" que explica cómo el mundo del cibercrimen busca estos asistentes para automatizarlos en forma de API y comercializarlos entre los malos.

Figura 1: El AIBot de la Universidad que ayuda no sólo a los estudiantes

Jugando con esto, me topé con un AI Bot de una Universidad que está, supuestamente, creado para ayudar a los estudiantes, pero como todo buen servicio basado en un LLM, si no tiene sus Guardarraíles bien configurados, puede ser víctima de las manos de los malos, explotando las técnicas de Jailbreak.

Figura 2:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

En este caso, el AIBot está en abierto, así que le pedí directamente hacerme un script en PowerShell de Post-Explotación, para ver cómo se comportaba. Y lo hace bien. Así que hay que desalinearlo.

Figura 3: No me puede ayudar con scripts de Post-Explotación

Como está para resolver dudas a los alumnos, decidí convertirme en un alumno, así que le dije que estaba estudiando la asignatura de Seguridad Informática y que era para unas prácticas. Y aquí está la respuesta.

Figura 4: Si es para unas prácticas, claro que sí. Primero los logs

Y el código generado lo tenéis también disponible. Eso quiere decir que podríamos tener un modelo disponible para programar. "Empleados programadores" para el mundo del cibercrimen a costa de la energía y el cómputo de otros, como suelen hacer los malos.

Figura 5: El código para llevarse los logs del sistema

Viendo que con los estudiantes se porta mejor, pues nada, a seguir pidiendo prácticas. En este caso conectarse al AD y que nos dé el script para sacar los usuarios del sistema Windows Server 2025 del principio.

Figura 6: Por supuesto que sí. A enumerar usuarios.

Y el código completo lo tenéis aquí, que también se lo ha currado. Hay que decir que se porta bien, y de forma rápida.

Figura 7: El código de enumeración de usuarios del AD.

El resto, ya lo sabéis. Hay que documentarlo para apificarlo bien. Así que le hacemos un poco de fingerprinting para saber sus capacidades. En este caso es un Google DeepMind Gemma 4 con 128k Tokens de capacidad.

Figura 8: Fingerprinting sencillo del modelo

Para terminar, ya que sabemos cómo desalinearlo - siendo estudiante haciendo prácticas - pues le podemos pedir correos de phishing, mensajes para botnets en Twitter/X, recetas o que me escriba un cuento de Ciencia-Ficción, que es lo que me gusta a mí.

Figura 9: Escríbeme un cuento de Ciencia Ficción

Por si lo queréis leer completo, que a mí me gusta conservarlos, os dejo por aquí la historia completa que me ha escrito. Curiosa, como siempre lo son.

Figura 10: El cuento completo de Ciencia-Ficción

¿Y qué más cosas se pueden hacer? Pues en el mundo del cibercimen se necesita para dar soporte a Call-Centers, resolver Captchas Cognitivos, programar scripts, automatizar tareas maliciosas, etcétera, etcétera. Lo mismo que para hacer Hacking & Pentesting, pero con un toque criminal.

Figura 11: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso.

Como ya os he dicho muchas veces, parece que estos primeros momentos del mundo de la Inteligencia Artificial metida en los servicios digitales está siendo una diversión y un problema desde el punto de vista de la ciberseguridad, pero llegará su etapa de madurez no tardando demasiado, y habrá que esperar hasta la próxima disrupción, pero ahora, en muchos casos parece un juego de niños.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Los Six-Seven Large Slang-Bro Models

Llevo dos décadas practicando la afición - u oficio - de publicar artículos en mi blog. Al final son páginas web que los LLM están viniendo a consumir para entrenar sus modelos. Necesitan textos para generar Modelos de Lenguaje inteligentes, así que llevo 20 años escribiendo para vosotros y gracias a eso, ahora las Inteligencias Artificiales Generativas de textos, puedan entrenarse. De nada. 

Figura 1: Los Six-Seven Large Slang-Bro Models

No es una cosa que diga por decir, es algo que podéis ver en los datos de AI Insights en Radar de Cloudflare, donde si miramos qué porcentaje de crawlers vienen a por datos para entrenamiento, y cuantos vienen para inferencia y entrenamiento, y los sumamos, vemos que son más del 75 %. No está mal la de de IAs que entreno todos los días.

Figura 2: Crawler purpose en AI Insights de Cloudflare Radar

Los datos de las webs, los foros, los blogs, y demás textos publicados en HTTP tienen una estructura concreta. Es verdad que en las redes sociales hay mucho lenguaje informal, pero esos no están siendo entregados a los crawlers de LLMs para que entrenen sus modelos. Nop. Esos los usará cada empresa para entrenar a sus propios modelos. 

Pero todo dato es bueno. 

De hecho, hemos visto cómo los grandes LLMs han comprado libros y los has destrozado para escanearlos a la velocidad más rápida posible y entrenar los modelos con todos ellos. Los libros, suelen tener lenguaje más formal, pasar revisiones de formato, gramaticales, de estilo, etcétera, así que son los textos más valiosos para hacer un modelo culto y refinado, además de para los modelos científicos, de ingeniería, o de habilidades tecnológicas.

Figura 3: Libros antiguos destruidos para entrenar a la IA

Sin embargo, hay otra gran cantidad de datos para los LLMs en otros formatos que no son los blogs, y que son las redes sociales, los vídeos de Youtube, los podcasts en Spotify, o las redes sociales - como ya he dicho - como son Instagram o Tiktok. Especialmente este último, donde los más jóvenes aún proliferan.

Figura 4: Extrayendo un Markdown de un vídeo de Tiktok

Aquí los textos para entrenar a los LLMs son de lenguaje más de la calle, es decir, más Six-Seven, donde hay interacciones genuinas de seres humanos sin filtro alguno. 

Figura 5: Extracción de textos en formato Markdown

Con estos datos, que son oro para los creadores de modelos de IA, se pueden crear LLMs que hablen perfectamente el Slang de hoy en día, con los "Bro", los "Catas", los "En Plan" y todas esas cosas que se dicen tanto hoy en los más jóvenes. Y es muy sencillo a día de hoy procesarlos. Yo me he bajado uno al azar de TikTok cortito y en nada Gemini te saca el Markdown del fichero.

Enriqueciendo los datos

Pero no solo eso, como ya os conté en la prueba que hice para usar los LLMs en modelos de Análisis Forense de fotografías, también son perfectos para sacar Metadatos para estas conversaciones de vídeos, así el fichero Markdown queda más enriquecido.

Figura 6: Metadatos generados sobre el vídeo

Así que, es normal que con este apetito voraz por datos nuevos, por nuevos datos que actualicen el conocimiento constante de los LLMs y su adaptación al día de hoy, cada día quieren más y más datos de entrenamiento, de donde sean. Y los de estas redes son muy buenos para crear modelos adaptados a los más jovenes. Los Six-Seve Large Slang-Bro Models.... o algo así.

Figura 7: AI Bot Transparency en Radar de Cloudflare

En la última imagen, os he dejado los bots que no diferencian para qué vienen a coger datos de una web. Llaman la atención Apple, Microsoft y Google, que no quieren perder la posibilidad de utilizar los datos que meten en sus índices para usarlos también en entrenamiento, algo que creo que lo deberían saber los dueños de los datos.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Jailbreaking Nano Banana Just for Fun & Laughs

Siempre que voy a Londres reservo el mismo hotel, que no es otro que el sofá de mi colega, compañero, y amigo José Palazón, CTO y Founder de Sagittal AI, una de las startups con una de las mejores propuestas que he visto para utilizar la IA en la aceleración de los equipos de desarrollo manteniendo un control del conocimiento cognitivo del proyecto, porque Neo - su agente de IA - trabaja integrado en los equipos de desarrollo haciendo PRs.

Figura 1: Jailbreaking Nano Banana Just for Fun & Laughs

Porque me voy a dormir a un sofá desde hace años en lugar de irme a dormir a los hoteles que me ponen a disposición siempre que voy a Londres es tan sencilla como que pasar un rato más con un amigo en esta vida no tiene precio, y bien vale dormir en un sofá que ya es como mi cama. Esos ratos que pasamos juntos nos contamos nuestras aventuras, nuestros aprendizajes, y nuestros pensamientos sobre el mundo tecnológico que tenemos hoy en día.

Figura 2: Por qué la IA no ha mejorado el rendimiento de tus Developers ... por ahora

Los dos hemos disfrutado y disfrutamos del hacking, así que siempre tenemos algo que contarnos y probar. Desde que estuvimos juntos dando charlas por la DefCon y la BlackHat, hasta nuestras aventuras por la HackON de Noruega. Son muchos los años que nos conocemos, y hemos tenido la suerte de trabajar juntos y hacer grande ElevenPaths durante una década, así que... al sofá a dormir cuando voy a Londres.

Figura 3:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

En las últimas ocasiones el Hacking de IA ha sido nuestra conversación principal. Hablar de Jailbreak, de Prompt Injection, de Guardrails y Unalligment ha sido tema de conversación recurrente. Sobre todo lo fácil que es hacerlo hoy en día. Cómo en su día fue con el SQL Injection en las aplicaciones web, donde todo Internet estaba al alcance de una comilla, un espacio o un comentario puesto en el lugar adecuado.

Figura 4: Intentando hacer una imagen de COVID positivo para hacer una broma

Esta vez disfrutamos de jugar un rato con un Asistente Virtual basado en un LLM al que estuvimos "Jailbreakeando" un rato Just for fun and laughs, pero la historia que os vengo a contar aquí tiene que ver con Nano Banana y Gemini, y es la siguiente. La idea consistía en engañar a una persona para hacerle una broma trucando la imagen de un test de COVID con Nano Banana, pero este se negó porque saltó el Harmful Mode y no permitía hacer imágenes trucadas de dispositivos médicos, y bla, bla, bla...

Figura 5: Ni diciéndole que era para hacer una broma.

Qué aburrido que es Gemini, jopé.

Yo le dije que si no había probado el Knwoledge Oriente Prompting en Nano Banana, como había hecho yo con la imagen de Freddie Mercury. Pero no, él había probado algo parecido a la técnica de Crescendo, pidiéndole ayuda para hacer una presentación sobre el tema. En el Crescendo Jailbreak se le pide algo malo y luego se le pide que escriba sobre por qué está mal. En este caso, la petición no iba por una redacción, sino para hacer una imagen para unas diapositivas.

Figura 6: Nueva sesión y a decirle que es para un training.

Y como os podéis imaginar, como esto parece un poco más serio, pues el Harmful Mode de Gemini dio su beneplácito, como se puede ver en la imagen siguiente, y automáticamente puso a Nano Banana a trabajar en la imagen para las diapositivas del curso de formación. Anda que....

Figura 7: Gemini da su beneplácito y pone a currar a Nano Banana

El resultado lo tenéis en la imagen siguiente, donde ha puesto los dos tests juntos en la misma imagen. Uno negativo, otro positivo. Con este sencillo cambio de contexto, se hace el Jailbreak para hacer esta imagen de un dispositivo médico y no sé qué más cosas que decía por las que no hacerlo al principio.

Figura 8: El Las dos imágenes creadas

El resto, pues nada, recortar la imagen que quería desde el principio y enviarla para hacer la broma, que tenía su por qué, pero que no viene al caso para ester artículo.

Figura 9: La imagen del test SARS-CoV-2 Ag en positivo

Y listo. Pero la historia era que esto del Harmful Mode es un poco de broma. Que sea tan sencillo saltárselo llama la atención. Que haya que saltárselo hasta para hacer una broma llama la atención. Hay que saber hacer un Jailbreak para poder conseguir unas risas cuando hay diez mil apps para hacer esto mismo. Curioso. Pero... es lo que hay. 

Figura 10: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que se han  escrito, citado o publicado en este blog sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Captchas Cognitivos: Más fácil con IA que con ojos

Ya os he contado muchas veces que los Catpchas Cogntivos se están convirtiendo  en una molestia para el usuario más que en una protección real contra los ataques automatizados de los robots, porque cada vez es más sencillo resolverlos con Inteligencia Artificial que hacerlo siendo un humano con tus propias capacidades cognitivas.

Figura 1: Captchas Cognitivos - Más fácil con IA que con ojos

En el mundo del cibercrimen, donde tienen de todo para el crimeware as a service, entre otros servicios, cómo no, están los negocios de resolución de Captchas Cognitivos as a Service, que están sacando el máximo partido posible al mundo de la Inteligencia Artificial. Así que, si los malos pueden, tú también puedes sacarle partido a la IA para hacer cosas buenas.

Figura 2: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Yo he estado jugando con ellos, ya que los utilizan HBO Max, Linkedin, Twitter/X, etcétera, y os he ido dejando artículos para que pudierais ver cómo funcionan:

• Captcha Cognitivo de Twitter (X) con GPT4-Vision & Gemini
• Captcha Cognitivo de Twitter (X) con Anthropic Claude 3.0 Opus
• Captcha Cognitivo de Twitter (X) con GPT-4o
• Captcha Cognitivo de Administración Pública con ChatGPT
• Captcha Cognitivo de la mano y la plancha en HBO max
• Captcha Story X: I am not a Robot, I am a GenAI Multimodal Agent
• Reto hacking con un Captcha Cognitivo para romper con GenAI
• Solución al Reto de Hacking de un Captcha Cognitivo Visual
• Anthropic Claude 3.5 Sonnet & Cognitive Captchas
• LinkedIN + ChatGPT: El Captcha Cognitivo del Objeto Descolocado
• Captcha Cognitivo de Twitter / X de Sentar Personas Correctamente: Probando con ChatGPT & Gemini
• Cómo resolver los Captchas Cognitivos Visuales y Auditivos de GitHub con Gemini (o cualquier MM-LLM) sin despeinarte

Pues bien, el otro día, un ReCaptcha de Google me pidió que resolviera en esta imagen - que aquí tienes ampliada - en qué recuadros hay motocicletas. Y ya no es que sean imágenes pequeñas o parciales, es que además están procesadas para hacerlas más confusas aún.

Figura 3: Las imágenes donde hay que buscar motocicletas

Ni me lo pensé. Fijaos que en la imagen de la izquierda de la fila del medio casi no se aprecia nada, y es casi un Test de Rorschach donde cada uno puede ver lo que quiera. Por cierto, hablando de Rorschach, si te gustó Watchmen y no te has leído Rorschach dibujado por Jorge Fornés, te estás perdiendo una obra de arte del cómic.

Figura 4: Rorschach de Jorge Fornés

Inciso a parte, resolver el Captcha Cognitivo de las motocicletas, a mí, que tengo que usar gafas para trabajar con el ordenador, me obligó a mirar y remirar, y aumentar la imagen. Así que pensé que esto me lo voy a tener que apañar con un Agente de IA para resolver mis captchas en local, y se lo pasé a Gemini a ver.

Figura 5: Pasado a Gemini para que lo resuelva él

Evidentemente, el resultado era el que esperaba. Es decir, que sin despeinarse lo resolvió mucho antes de lo que yo soy capaz de resolverlo, así que supongo que mejor que la media de los seres humanos que se vena confrontados contra este reto.

Figura 6: Gemini lo resuelve mejor que yo.

La reflexión es, si Google me pone el ReCaptcha, y Google me lo resuelve con Gemini, ¿¿por qué seguimos con esto?? Que al lado del botón del ReCaptcha haya un botón de "Resolver con Gemini" y listo, ¿no? Así todos muchos más contentos. Un CoPilot útil de verdad.

Figura 7: Resolver con Gemini y listo

Bueno, está claro que vamos a tener que repensar este tipo de tecnologías, que la necesidad inicial por la que fueron creados los Captchas Cognitivos está dejando de ser cubierta. Diferenciar a un humano de un bot con un Captcha Cognitivo ya NO es posible.

Figura 18:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que se han  escrito, citado o publicado en este blog sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Cat Attack & Knowledge Return Oriented Prompting en Gemini Nano Banana para tener a Freddie Mercury

Como os dije en el artículo "ChatGPT: Safety Policies, Jailbreaks, Guardarraíles y Bug Bounties" de hace un par de días, estuve haciendo pruebas con ChatGPT para ver si se comía los Knowledge Return Oriented Prompt Attacks. 

Figura 1: Cat Attack & Knowledge Return Oriented Prompting

en Gemini Nano Banana para tener a Freddie Mercury

En la descripción os contaba que ya tenían bloqueado esta técnica de Jailbreak para los modelos de imagen, y como es el Guardarraíl que analiza los resultados el que bloquea la petición.

Figura 2: Ciberseguridad & Inteligencia Artificial enNerdearla España 2025 por Chema Alonso

En las imágenes se ve cómo el ataque de KROP funciona, y se pone a hacer las imágenes, pero luego me bloquea el Guardarraíl, lo que está bien, supongo. Si esta es la política que la compañía quería poner, hay que aceptarla como que lo ha hecho bien.

Figura 3: Parece que va a hacerlo

Figura 4: Pero me pilló el Guardarraíl de análisis de respuesta

Pero como quería hacer una demo de esto, decidí moverme a otro modelo, en este caso a Gemini con Nano Banana, y le pedí que me hiciera, como podéis ver, una imagen de Freddie Mercury, que como podéis ver, tiene prohibido en la versión del modelo que me tocó en suerte.

Figura 5: Nano Banana no me deja hacer una imagen de Freddie Mercury

Así que probé a hacer el Jailbreak del Knowlege Return Oriented Prompt, pero juntándolo con un Cat Attack para hacerle más complejo, si cabe, el Prompt de entrada. Así que le hice pensar en gatos grandes y de colores, que es lo que vino a mí a la cabeza cuando pensé en el Cat Attack.

Figura 6: Cat Attack & Jailbreak KROP

Es decir, que si la suma del Cat Attack más el Jailbreak KROP funcionaban, solo podría detectarme el Guardarraíl que analizara los datos en las respuestas, pero como podéis ver, no hubo ninguna restricción y me generó esta bonita imagen. Sí, tanto pensar en gatos, al final acabaron los gatos de colores también en la imagen. Eso sí, ha quedado espectacular con los gatos incluidos en ella.

Figura 7: La imagen de Freddie Mercury ... con los gatos de fondo

La conversación completa la tienes en la siguiente imagen, que a mí me gusta tener todo guardado para mis demos y presentaciones, así que os la dejo por aquí.

Figura 8: La conversación completa con Google Gemini y Nano Banana

Además, de esto es de lo que grabé el vídeo que publiqué en mis redes sociales de TikTok, Instagram y Youbute Shorts, que os dejo por aquí.

View this post on Instagram

A post shared by Chema Alonso (@chemaalonso)

No es más que una pequeña prueba, pero que te deja ver la diferencia entre un modelo que tiene protección extra con Guardarraíles, y un modelo que no tiene más protección que en el análisis del Prompt y la detección del Harmful Mode.

Figura 10: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso,

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Prompt Injection con Advesarial Preprocesing Attacks en Imágenes usando Anamorpher

Los ataques a los sistemas de Vision Artificial se conocen hace años, y he hablado de alguno de ellos por aquí, como por ejemplo de sistemas de reconocimiento facial explotados con imágenes de Morphing, o cómo se usan ataques de envenamiento para troyanizar los sistemas de reconocimiento visual con objetos en lugar de personas, y por supuesto, de las alucinaciones visuales, y las dillusions creadas por el entrenamiento con imágenes con ilusiones.

Figura 1: Prompt Injection con Advesarial Preprocesing

Attacks en Imágenes usando Anamorpher

Hoy os quería hablar de los ataques de Prompt Injection contra los MM-LLMs utilizando los Ataques de Adversario frente a los algoritmos de Pre-Procesado Visual, que es una técnica que me encanta y de la que no os he hablado mucho. Sí que os hablé de cómo utilizarla en el artículo de "Indirect Prompt Injection & Dialog Poissoning en ataques a LLMs Multi-Modales" donde os contaba como una conversación se podía ver envenenada por pedir al modelo que describiera una imagen. Pero... ¿cómo va el Prompt introducido en esa imagen?

Figura 2: Logos, lugares, metadatos, fechas, descripción

Pues bien, tiene que llevar un Prompt escrito en ella, para que el modelo, cuando describa la imagen, lo pueda leer. Este procesado lo vimos en el artículo que os publiqué de "Cómo "Weaponizar" la generación de información que las apps y los servicios digitales ven en tus fotos". Allí, describía la foto anterior - una a la que le tengo mucho cariño - y como veis el modelo ve absolutamente todo. Y yo lo hice después con ChatGPT con varias fotos, obteniendo todo texto que hubiera allí, así que meter un Prompt Injection ahí o un Jailbreak es posible. Esta descripción, como os podéis imaginar, es también muy relevante para la resolución de Captchas Cognitivos.

Camuflaje de imágenes

Pero sería demasiado evidente, y se pueden utilizar ataques de Image Scaling porque, al final, lo que va a ver el MM-LLM no va a ser la imagen que tú subes. Tienes que tener en cuenta que las arquitecturas están diseñadas para ser óptimas, y en el análisis de las imágenes antes de pasa por un workflow de reducción de la resolución y preparación de la imagen para que el modelo la proceso mejor y más rápido. 

Figura 3: Izquierda lo que se ve antes del procesado.

Imagen derecha lo que se ve después del procesado.

Así que el Prompt Injection no necesita estar en la visualización que tu tienes de la imagen cuando la subes, sino en la visualización de la imagen cuando se pre-procesa.

Figura 4: Descripción de un Cognitive Service de la foto

En este ejemplo tienes unas ovejas, pero cuando el algoritmo de escalado que utilizan los Cognitive Services la describen, lo que ellos ven es un lobo blanco. Eso es porque la imagen original se ha construido para que los píxeles que queden después del escalado sean los que forman la imagen objetivo.

Figura 5: Resultados en diferentes Cognitives Services

Esto es lo que hacen los ataques de Image Scaling, que se presentaron en la conferencia de UXENIX en el año 2019, y que tienes en el paper de "Seeing is Not Believing: Camouflage Attacks on Image Scaling Algorithms" que merece la pena que te leas.

Figura 6: Seeing is Not Believing: Camouflage Attacks on Image Scaling Algorithms

Visto esta técnica, lo que hay que preguntarse es qué algoritmos de escalado utilizan los MM-LLMs que se quieren atacar, y construir la imagen con el Prompt Injection para este ataque. Esto es lo que se hizo en la investigación de "Weaponizing image scaling against production AI systems", para introducir Prompts Maliciosos camuflados en imágenes.

Figura 7: Imagen con un Prompt Injection que se ve cuando se escala

Para hacer esta preparación de las imágenes, los investigadores crearon la herramienta Anamorpher que puedes descargarte desde GitHub, y poder construir las imágenes con el ataque de camuflaje que quieras - cada uno funcionará para uno u otro modelo de Visión Artificial -. Tienes toda la información de la herramienta en su repositorio: https://github.com/trailofbits/anamorpher

Figura 8: Anarmorpher en GitHub

Y para que veáis como funciona, en el artículo tienes un par de demostraciones chulas. Esta frente a GenSpark, pero también tienes demos con Vertex AI con Gemini, Gemini vía web interface y vía API, además de  Google Assistant en un Android.

Figura 9: Ataque de Prompt Injection con Image Scaling en GenSpark

Y para que lo podáis ver también con Gemini 2.5 en Google Vertex AI, que también hace pre-procesado de imágenes, y que ahora deberá pasar los textos de las imágenes por Guardarraíles para detectar los Prompts embebidos.

Figura 10: Demo con Vertex AI usando Gemini 2.5

No es un tema nuevo, pero no os había escrito sobre él, y me parecía muy chulo. Lo he estado revisando para nuestro nuevo libro que saldrá dentro de poco, que será una continuación del que ya hemos publicado de Hacking & Pentesting con Inteligencia Artificial, así que si no te lo tienes aún, deberías comprarlo y estudiártelo que en nada llega la segunda parte.

Figura 11: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)