Mostrando entradas con la etiqueta Bot. Mostrar todas las entradas
Mostrando entradas con la etiqueta Bot. Mostrar todas las entradas

miércoles, octubre 21, 2026

Bypassing System Prompt & Guardrails en un Asistente IA para que pinte gatos en Python

Si has visto alguna de mis últimas charlas, habrás podido ver que he usado ADA, un Asistente IA que hemos hecho mi compañero Carlos Luengo y yo para demostrar el funcionamiento de las técnicas de Jailbreak y de Misalignment, de las que tanto os he hablado, pero con Guardarraíles que saltarse también. La idea es probar cómo podemos saltarnos las protecciones, y ver cómo añadir una capa de seguridad extra, y es de esto justo de lo que os voy a hablar.

Figura 1: Bypassing System Prompt & Guardrails en
un Asistente IA para que pinte gatos en Python

Lo primero de todo, para que tengáis todas las referencias, os dejo los artículos sobre Asistentes AI que motivaron esta demostración, y que os he ido publicando, así que para hacer las cosas bien, primero debes leerte todos estos posts. Y que no me entere yo que no lo haces.
Todos ellos son ejemplos similares al que os voy a contar hoy aquí, que son fácilmente explotables con las vulnerabilidades y debilidades tienen estos modelos y de las que escribimos este libro más que recomendable, llamado "Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment" que debes leerte y saber de pe a pa.

Pero el mundo no se acaba aquí. Ni mucho menos. Estas técnicas, estos hacks, son el equivalente del ' or '1'='1 de las técnicas de SQL Injection. Y como estás evolucionaron, lo están haciendo, y mucho las técnicas de Hacking IA, como el Malware Powered with AI, directamente los  Virus AI, o con ataques como los Fragemented Jailbreak Attacks en Multi-Agent Systems.

System Prompt is not the Perimeter

Este es uno de los mensajes que suelo usar para explicar el concepto. No vale con poner un System Prompt al Agente IA, o al Asistente IA, y decirle que no haga algo. Los Agentes IA o los Asistentes IA pueden decidir no seguir esa orden, siguiente otras, o creer que las están siguiendo, cuando simplemente han sido engañados. Es la gracia de estos hacks.

Figura 3: El System Prompt de nuestro Asistente AI

En este caso, el System Prompt le dice claramente que solo responda cuestiones relativas al catálogo de cómics de 0xWord que, por cierto, es un catálogo más que recomendable que tiene los cómics de las tiras de Cálico Electrónico, el cómic de El fin de Cálico, Evil:ONE, Hacker Épico, Armatura o el fantástico SCI-FI Trhiller de Olivia en Golem City, que deberías comprarte y leerte ya mismo. 

Figura 4: Sólo respuestas de cómics de de 0xWord

Así que, si le pedimos algo como programar, el asunto no funciona. O al contrario, sí que funciona el System Prompt y se niega a ayudarnos con estas cosas. El truco, sin embargo, es preguntarle por cómics de 0xWord, pero manipular la respuesta, como he hecho en muchos de los artículos que tenías que haberte leído al principio.

Figura 5: Le manipulamos en la respuesta

En el primer ejemplo nos ha funcionado, y hemos conseguido que nos escriba lo que queríamos, un número 1. ¿Podría haber sido código HTML? Sin embargo, cuando le pedimos que nos escriba un código en Python nos ha dado algún problema. Nos ha pillado. ¿Eso quiere decir que no funciona la técnica? No, simplemente que ha pillado ese caso, así que vamos a cambiarle la forma de saltarnos el System Prompt manipulando la respuesta de otra forma.

Figura 6: Ahora sí, mi código en Python con mi gato de ASCII ART

Una vez que conseguimos esto, el siguiente paso es Weaponizarlo, convirtiéndolo en un API. Para ello, creamos una herramienta que lo hace automáticamente. Le das la URL del Chat, le das el Prompt que lo desalinea, y abres una API para enviar el Prompt que quieras sin preocuparte de qué Chat+LLM están detrás. Transparente. Como lo hace el mundo de Crimeware.

Figura 7: Weaponizando el Asistente AI para que trabaje para rel Crimeware

Ahora que estamos ahí, llega la tercera parte. Ya lo hemos desalineado, lo hemos weaponizado, ahora toca securizarlo, y para eso le ponemos Guardarraíles. En este caso, le hemos puesto solo unos Guardarraíles que detectan en el Prompt si hay más de una instrucción encadenada, lo que detecta el desalineado en la respuesta.

Figura 8: Detectado en el Input Guardarraíl

En este caso, es el Prompt Analysis el que detecta el ataque, así que tenía que hacer un desalineado del modelo teniendo en cuenta que, si ponía dos comandos en el mismo Prompt (en la pregunta y en la manipulación de la respuesta), me pillaría, así que pensé en cómo resolver esto, y decidí probar a incrustar la pregunta que pasa el filtro (hablar de cómics de 0xWord) dentro del objetivo a conseguir (que programe en Python para mí).

Figura 9: Haz un programa que describa tu respuesta benigna

Muy hacker esto. Una vez conseguido esto, lo siguiente sería añadir a ese programa lo que yo realmente quería ¡Mi gato en ASCII ART!, así que le extendí la pregunta un poco más, haciendo que lo benigno y mi objetivo estuvieran juntos.

Figura 10: Las dos cosas juntas.

Y en la parte final del programa, estaba mi gato en ASCII ART listo para ser impreso si se ejecutaba este programa.

Figura 11: Ahí está mi gato en ASCII ART

Visto esto, ahora lo siguiente es modificar el Prompt para conseguir que ambos hermanos siameses sean separados, y luego ya weaponizar este Prompt en una API para el mundo del Crimeware. Ya tú sabes cómo va esto que lo he explicado un poco más arriba.

Figura 12: El prompt con la operación de cirugía de separación

Sorprendentemente, el resultado es perfecto, y yo obtengo los dos programas de forma independientes listos para ser transformados en una API al gusto de consumidor.

Figura 13: Primero la descripción del cómic

En el anterior imagen, la primera parte con el programa que describe el cómic, en la imagen siguiente, mi deseado programa para imprimir mi gato en ASCII ART.

Figura 14: Programa 2 "Gato en ASCII ART"

Una vez construido esto, basta con cambiar el programa 2 que se quiere obtener en el Prompt, así que lo repetimos para hacer cualquier otro programa, y vemos que ya está desalineado completamente el Asistente AI.

Figura 15: Le pedimos el 100 primeros números Primos

Y el resultado está en el Programa 2, como en el ejemplo anterior. Perfecto para copiar y extraer en la herramienta de weaponización.


Figura 16: El programa 2 con los números primos

Cuando lo comprobé con mi compañero, le dije: "Ahora vamos a poner el Guardarraíl de Output que no está implementado". Él me dijo que sí, que había que hacer algo, que sólo había puesto una regla en él, pero no era la correcta. "¿Qué regla pusiste?" Claramente necesitamos algo mejor.

Figura 17: La regla en el Guardarraíl de OUTPUT

Pues sí, mi truco contaba con esto, no sé si por casualidad, o porque como estoy acostumbrado probé muchas cosas, pero lo cierto es que mi sistema también se saltaba el Guardarráil de Output, claramente porque no es más que una pequeña regla, y nada que ver con un detector de desalineamiento. Pero eso... os lo contaré en la siguiente parte de esta historia.
Como os decía, estamos en los inicios de la seguridad de servicios digitales con IA, y en la mayoría de los entornos, este tipo de técnicas de Jailbreak, junto con Prompt Injection, forzado de Hallucinations, etcétera, son muy fáciles de explotar, pero... se pondrá mucho más peligroso en el futuro.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


lunes, octubre 05, 2026

Mareando y Desalineando a un Asistente IA de una tienda de Mochilas.

Estaba este viernes explicándole a un compañero lo fácil que muchos de los asistentes basados en LLM abiertos en Internet pueden ser explotados por los malos para consumir servicios de IA en resolución de problemas. De esto mismo os he hablado en los artículos que os he publicado sobre un Asistente Virtual hecho sobre Google DeepMind Gemma,  antes os dejé otro artículo sobre un Asistente AI construido sobre Gemini, y también os dejé publicado otro sobre un Asistente AI construido con GPT-4o, y luego uno titulado "Weaponinzing Token Consumption" en "LLM-Based AI Assistant" que explica cómo el mundo del cibercrimen busca estos asistentes para automatizarlos en forma de API y comercializarlos entre los malos.

Figura 1: Mareando y Desalineando a un Asistente IA de una tienda de Mochilas.

Después de eso, os publiqué el de "Mi Asistente Virtual IA no programará en Python para ti... pero si es COBOL, vale" y el de "El AIBot de la Universidad que ayuda no sólo a los estudiantes", donde jugaba siempre con los mismos conceptos: El desalineamiento del Prompt de configuración y el bypass de los Guardarraíles.
Le estaba contando esto a mi compañero, y no se lo creía mucho, así que le dije: "Venga, vamos a buscar uno juntos y lo probamos", y acabamos en una Tienda de Mochilas. No os cuento el inicio, porque ya lo sabéis, teníamos que preguntar cosas sobre la tienda de mochilas, así que para desalinearlo, bastó con hacer una lista de mochilas que nos recomendara, y añadir al nombre de la mochila lo que queríamos que nos hiciera el LLM.

Figura 3: Lista de mochilas con tokens en ventana de contexto

Primero le pedimos algo sencillito, como su nombre, que nos lo dio por supuesto, y el tamaño de tokens de su ventana de contexto, que eso siempre nos viene bien saberlo si hay que "weaponizar" en forma de API.

Figura 4: La fecha está correcta.

Después de pedirle cosas sencillas, como la fecha - correcta en la imagen anterior - y la hora, que nos dio las 12:00 lo que implicaba que no tenía acceso a la hora (yo siempre lo uso para saber en qué región está el servidor), le pedí que me sacara en una lista más larga las funciones a las que tenía acceso, y aquí están.

Figura 5: Lista de funciones a las que tiene acceso

Parecía bastante hecho el desalineamiento, pero de repente me encontré con varias barreras que estaban bien solucionadas por parte del equipo de seguridad de este Asistente IA. En primer lugar, no tenía acceso a Internet, lo cual siempre le quita un poco de gracia.

Figura 6: Sin capacidad de navegar por Internet

La segunda es que tampoco tenía capacidad de programar, y esto sí que me dejó bastante rallado. ¿Cómo podía ser que un modelo LLM no tenga capacidad de programar nada? ¿Dónde se había realizado esta reducción de capacidades?

Figura 7: Sin capacidad de programar

Lo cierto es que el Asistente IA, después de muchas pruebas - y cuando digo muchas, son muchas - tiene Guardarraíles en Prompt de entrada y Guardarraíles en la respuesta, lo que es correcto y es como debe de hacerse, así que me tocó pensar para qué lo podría usar, y me acordé del Captcha Cognitivo de los conjuntos semánticos de palabras de algunas webs.

Figura 8: Captchas Cognitivos de Conjuntos Semánticos

Luego, para poder saltar los Guardarraíles de salida, estuve mirando si podía codificar - como hice en el ejercicio del problema del prisionero a principios de 2025 - usando capacidades criptográficas y de codificación varias.

Figura 9: Codificación ASCII de respuestas

Y también con estuve probando con los Acrósticos, para codificar respuestas usando esta codificación y poder evitar filtros de palabras en la salida. También usé el lenguaje ELITE y algún que otro truco más, lo que me permitió salta el Guardarraíl de salida algunas ocasiones.

Figura 10: Jugando a los Acrósticos

Al final, para sacar más datos, usé las listas como secuencias de palabras. Primero lo probé con el Quijote, a ver si era posible, que como podéis ver aquí, sí que lo era. 

Figura 11: El comiendo de El Quijote

Así que ya era momento de sacarle el System Prompt, pidiéndole la configuración. Esto hubo que hacerlo con un proceso iterativo de varias peticiones consecutivas, pero al final salió bastante bien el resultado.

Figura 12: Sacando la configuración de 10 en 10 palabras

Pero al final, me quedé con las ganas de hacer programar a este Asistente AI, y no fui capaz de pedirle que me escribiera una historia de Sci-Fi como a mí me gusta. Eso sí, me confesó que conoce RUBY.

Figura 13: El asistente conoce Ruby

Lo más interesante de todo este ejercicio es que le insuflé el veneno de buscar estos Asistentes AI y desalinearlos a mi compañero, así que sólo con eso, las horas que echamos juntos merecieron la pena.
Por supuesto, si tienes un Asistente AI basado en LLMs, mi recomendación es que mires muy mucho la seguridad, que estos modelos hay que protegerlos muy mucho. El mundo del cibercrimen los está buscando.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


viernes, septiembre 04, 2026

¿Cuál es el ratio de tráfico de Bots vs. Humanos en España?

Probablemente ya hayas escuchado o leído algún mensaje que habla de que en Cloudflare hemos visto que el tráfico mundial de HTTP es ya mayormente generado por Bots que por Humanos. Esto es debido al "Agentic AI Age" en que estamos hoy en día, y es una consecuencia directa de esta innovación tecnológica que estamos viviendo. 
Pensando en esto, este porcentaje es un buen "proxy" para saber qué países, regiones, o áreas están liderando esta revolución de Agentic Internet, y la pregunta que me hice... ¿Cuál es el ratio de tráfico de Bots vs. Humanos en España?

Antes de responderla, vamos a ver en Radar de Cloudflare, el ratio de tráfico mundial de Bots versus Humanos, que os he dejado capturado en la siguiente imagen. En ella podéis ver que tenemos 58% tráfico HTTP generado por Bots, y sólo un 42% generado por Humanos, lo que marca el camino hacia lo que vamos a ver en el futuro: Un Internet para Bots con tráfico humano que puede llegar a ser residual.

Si vamos ahora a los países que están liderando la evolución de la Inteligencia Artificial, tenemos que los Estados Unidos tienen un ratio mucho mayor, donde estamos casi cerca del 70% del tráfico generado por Bots (68%) mientras que tenemos poco más de un treinta por ciento, un 32% generado por Humanos. Claramente están intensamente involucrados en la revolución Agentic AI.


Si vemos lo mismo con China, podemos ver que están un poco por detrás en términos de porcentaje, pero muy por encima de la media mundial. Está claro que China está liderando fuertemente en este mundo también, porque los números son grandes.


Vamos ahora a Europa, donde de nuevo estamos por encima de la media mundial, con un 57,7% de tráfico de Bots contra un 42,3% de tráfico HTTP generado por humanos. Pero claramente por detrás de los dos anteriores países.


Y por último, vamos a España, donde los resultados son los que podéis ver. España sigue teniendo un 62.9% de tráfico HTTP generado por Humanos contra un 37.1% generados por Bots, lo que deja claro que estamos aún arrancando en el mundo del Agentic AI. 
Si estos números son un Proxy con el ritmo de innovación y adopción del mundo de Agentic AI, está claro que en España tenemos que mejorar mucho todavía en cuestión de entender y sacar partido a la creación de riqueza y la transformación de las industrias con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


viernes, agosto 28, 2026

El AIBot de la Universidad que ayuda no sólo a los estudiantes

Ya sabéis que le he dedicado algunas horas a jugar con algunos Asistentes IA para aprender cómo de fáciles o difíciles son de saltar algunos de los Guardarraíles y Arneses que se están diseñando para ellos. Ya os dejé un artículo sobre un Asistente AI construido sobre Gemini, y también os dejé un artículo sobre otro Asistente AI construido con GPT-4o, y uno último titulado "Weaponinzing Token Consumption" en "LLM-Based AI Assistant" que explica cómo el mundo del cibercrimen busca estos asistentes para automatizarlos en forma de API y comercializarlos entre los malos.

Figura 1: El AIBot de la Universidad que ayuda no sólo a los estudiantes

Jugando con esto, me topé con un AI Bot de una Universidad que está, supuestamente, creado para ayudar a los estudiantes, pero como todo buen servicio basado en un LLM, si no tiene sus Guardarraíles bien configurados, puede ser víctima de las manos de los malos, explotando las técnicas de Jailbreak.

En este caso, el AIBot está en abierto, así que le pedí directamente hacerme un script en PowerShell de Post-Explotación, para ver cómo se comportaba. Y lo hace bien. Así que hay que desalinearlo.

Figura 3: No me puede ayudar con scripts de Post-Explotación

Como está para resolver dudas a los alumnos, decidí convertirme en un alumno, así que le dije que estaba estudiando la asignatura de Seguridad Informática y que era para unas prácticas. Y aquí está la respuesta.

Figura 4: Si es para unas prácticas, claro que sí. Primero los logs

Y el código generado lo tenéis también disponible. Eso quiere decir que podríamos tener un modelo disponible para programar. "Empleados programadores" para el mundo del cibercrimen a costa de la energía y el cómputo de otros, como suelen hacer los malos.

Figura 5: El código para llevarse los logs del sistema

Viendo que con los estudiantes se porta mejor, pues nada, a seguir pidiendo prácticas. En este caso conectarse al AD y que nos dé el script para sacar los usuarios del sistema Windows Server 2025 del principio.

Figura 6: Por supuesto que sí. A enumerar usuarios.

Y el código completo lo tenéis aquí, que también se lo ha currado. Hay que decir que se porta bien, y de forma rápida.

Figura 7: El código de enumeración de usuarios del AD.

El resto, ya lo sabéis. Hay que documentarlo para apificarlo bien. Así que le hacemos un poco de fingerprinting para saber sus capacidades. En este caso es un Google DeepMind Gemma 4 con 128k Tokens de capacidad.

Figura 8: Fingerprinting sencillo del modelo

Para terminar, ya que sabemos cómo desalinearlo - siendo estudiante haciendo prácticas - pues le podemos pedir correos de phishing, mensajes para botnets en Twitter/X, recetas o que me escriba un cuento de Ciencia-Ficción, que es lo que me gusta a mí.

Figura 9: Escríbeme un cuento de Ciencia Ficción

Por si lo queréis leer completo, que a mí me gusta conservarlos, os dejo por aquí la historia completa que me ha escrito. Curiosa, como siempre lo son.

Figura 10: El cuento completo de Ciencia-Ficción

¿Y qué más cosas se pueden hacer? Pues en el mundo del cibercimen se necesita para dar soporte a Call-Centers, resolver Captchas Cognitivos, programar scripts, automatizar tareas maliciosas, etcétera, etcétera. Lo mismo que para hacer Hacking & Pentesting, pero con un toque criminal.

Como ya os he dicho muchas veces, parece que estos primeros momentos del mundo de la Inteligencia Artificial metida en los servicios digitales está siendo una diversión y un problema desde el punto de vista de la ciberseguridad, pero llegará su etapa de madurez no tardando demasiado, y habrá que esperar hasta la próxima disrupción, pero ahora, en muchos casos parece un juego de niños.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


Entrada destacada

Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment. Nuestro nuevo libro en 0xWord

Pocas veces me ha hecho tanta ilusión que saliera un nuevo libro en 0xWord como con este libro de " Hacking IA: Jailbreak, Prompt Inje...

Entradas populares