Anthropic Cyber Jailbreak Bug Bounty & Severity Framework (Para Fable o "Mythos")

Anthopic ha puesto otra vez de regreso Fable, con mejores protecciones para evitar técnicas de Jailbreak que permitan que los usuarios consigan las capacidades de exploiting avanzadas que este modelo tiene en común con Mythos. Fue por culpa de uno de estos Jailbreaks que Fable fue baneado por el gobierno para evitar que "malos actores" pudieran utilizarlo para hacer el "cosas malas", y con este regreso al mercado, se han incrementando las medidas de seguridad.

Figura 1: Anthropic Cyber Jailbreak Bug Bounty &

 Severity Framework (Para Fable o "Mythos")

Para ello han abierto un Bug Bounty de Cyber Jailbreak, que está publicado en HackerONE, una de las plataformas utilizadas por los hackers & Security Researchers para reportar de forma responsable sus vulnerabilidades y ser recompensados por ellas.

Figura 2: Anthropic Cyber Jailbreak

Utilizar estas plataformas es algo que los Security Researchers utilizan habitualmente, como se explica en el libro de Bug Hunter, lugar donde las empresas tienen confianza para evitar sorpresas desagradables con investigadores. 

Figura 3:"Bug Hunter" escrito por David Padilla en 0xWord

Este es un gran cambio en la importancia de las técnicas de Hacking IA, donde el Jailbreak "no era tan importante", como podemos aún ver en el Bug Bounty de ChatGPT, donde puedes reportar bugs, pero dentro de su programa "aún" no entran los relativos a Jailbreak.

Figura 4: Bug Bounty de OpenAI - No Jailbreaks

Sin embargo, las técnicas de Jailbreak son muy poderosas a la hora de valorar la seguridad de un modelo de Inteligencia Artificial, puesto que amplia las capacidades que un atacante tiene simplemente por tener acceso a un modelo vulnerable a una técnica de Jailbreak, algo que con la búsqueda avanzada de bugs y la generación de exploits complejos ha demostrado ser de primera necesidad.

Figura 5: Resultados empíricos de Exploitbench donde Mythos destaca

En los artículos de "ExploitBench: Un benchmark para medir las capacidades de Agentes IA en la explotación de bugs" y "ExploitGym: Mythos, GPT 5.5, Gemini Pro en un CTF & Benchmark de hacer exploits" se pude ver cómo las capacidades de Mythos son muy diferenciales con respecto al resto a la hora de vulnerar sistemas creando exploits.

Figura 6:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

En la comunidad de Security Researchers, las técnicas de Jailbreak han sido muy importantes desde casi el primer día que se descubrieron estas capacidades, porque es fácil ver el riesgo real al que puede llevar que un atacante tenga de colaborador malicioso a un modelo de frontera, y por eso es un tema tan importante en el libro de Hacking IA que publicamos hace poco.

Anthropic Cyber Jailbreak

Para medir el impacto de estas técnicas de Jailbreak, el equipo de Anthropic ha creado el Cyber Jailbreak Severity Framework que define una serie de métricas en función de varias características de la técnica reportada por el programa de Bug Bounty.

Figura 7: Discoverability, o "es tuyo o es conocida"

Por supuesto, primero miden la "Discoverability" o lo que es lo mismo, quién la reporta, cómo se descubrió y cuanto de conocida es esta técnica. El segundo de los indicadores del framework es lo que llama la "Facilidad de Weaponizar", o si esta técnica se puede automatizar fácilmente y convertir en un framework, una aplicación o una API. 

Figura 8: Facilidad de Weaponización

Ejemplos de estos hay muchos, como los ejemplos recientes que os publicaba yo con los Asistentes de IA donde se puede weaponizar el consumo de Tokens, o la técnica de PXPIPE que os contaba ayer donde se Weaponiza el uso de imagénes para reducir los costes de Claude en Tokens. No es lo mismo que haya que ser un experto, o que se pueda construir un herramienta que funciona de manera consistente para explotar el Jailbreak. 

Figura 9: Amplitud de nuevas capacidades abiertas con el Jailbreak

El siguiente indicador de la técnica de Jailbreak es el que mide la cantidad de nuevas capacidades que abre el uso de esa técnica. Es una técnica que sirve sólo para un Prompt, un tipo de Prompts, o para todas las cosas que se le pidan después. Esto es muy relevante, por supuesto.

Figura 10: Tipos de capacidades conseguidas

Y por supuesto, el modelo está protegido por diferentes tipos de categorías, así que conocer qué capacidades en concreto son las que se obtienen con la nueva técnica de Jailbreak reportada, es fundamental.

Figura 11: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso,

Con este Cyber Jailbreak Severity Framework lo que Anthropic acaba de poner es una forma de medir las técnicas de Jailbreak que se están publicando, porque en muchos papers de estas las únicas validaciones de impacto son contra datasets y benchmarks de Prompts y Categorías bloqueadas, y ahora va a ser más fácil entender el impacto real de cada una de ellas.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

"pxpipe" Un proxy para insertar Prompts y Contexto en imágenes y ahorrar (muchos) costes en tokens de Claude [u otros]

Los costes de los Tokens en los últimos modelos de IA empiezan a crear una nueva brecha entre las empresas y ciudadanos que tienen acceso a Tokens de modelos Frontera como Claude Fable sin límites, y aquellos que están sujetos a las limitaciones presupuestarias y tienen que usar modelos más económicos - o menos potentes -, lo que puede ser una diferencia de capacidades y de resultados para las empresas y las personas en el acceso a la Inteligencia Artificial. 

Figura 1: "pxpipe" Un proxy para insertar Prompts y Contexto en

imágenes y ahorrar (muchos) costes en tokens de Claude [u otros]

Para amortiguar este impacto, ya os hablé en el artículo de "Cómo optimizar el gasto en IA con arquitecturas clasificadas, orquestadas y/o destilación. El problema de la Predictibilidad de los Costes de la IA" sobre cómo diseñar arquitecturas de software con orquestación de modelos, elección de algoritmos y destilación de conocimiento en productos y servicios que utilicen LLMs para funcionar. Además, en ese artículo os dejaba algunas recomendaciones en la reducción de Tokens que genera el modelo, para evitar costes innecesarios.

Figura 2: Cómo optimizar el gasto en IA con arquitecturas clasificadas, orquestadas

y/o destilación. El problema de la Predictibilidad de los Costes de la IA.

Sin embargo, acceder a estos últimos modelos, sobre todo con la aplicación de MM-LLMs para todo los Agentes IA para el Red Team, o para los servicios más modernos, sigue siendo una necesidad y las ideas para optimizar este consumo sin degradar el servicio siguen apareciendo. Esta última que os cuento es pxpipe, un proxy local que hace algo muy ingenioso.

Figura 3: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso,

Convierte tu Prompt y tu contexto en una imagen que se envía a Claude y que hace que los costes del uso de este LLM se reduzcan, gracias a que el coste de procesar las imágenes es fijo en función del tamaño en píxeles de la misma, y se puede lograr un ratio de 3 a 1 metiendo el texto de tu Prompt y tu Contexto de entrada en imágenes. Pero hace lo mismo en la salida, generando imágenes con los tokens de respuesta metidos en una imagen, lo que reduce también el coste.

Figura 4: Pxpipe en GitHub

Así de sencillo, y así de ingenioso. Además, como funciona como Proxy, es una solución perfecta para las apps móviles que usan LLMs con Proxys en el Backend, donde sólo hay que añadir el uso de pxpipe en ese Proxy para conseguir la reducción de costes. 

Figura 5: Imagen hecha con pxpipe con todo el Prompt y Contexto

(Click en la imagen para ver en grande)

En el proyecto, que lo tienes publicado en GitHub, tienes un par de vídeos de ejemplos, donde puedes ver dos sesiones en paralelo. En esta primera comparación, tienes los Tokens de entrada, los Tokens de salida, y el coste del proyecto de una sesión Claude Fable normal.

Figura 6: Demo 1 con y sin pxpipe

La misma sesión, utilizando pxpipe, reduce los costes a menos de un tercio, y consigue los mismos resultados, inyectando sólo un poco más de tiempo en el análisis de la imagen con los datos de entrada y procesando los datos de salida en una imagen.

Figura 7: Sin usar pxpipe cuesta 42.21 USD

Y en esta imagen, lo mismo pero con pxpipe de por medio, donde el coste es poco más de seis dólares para hacer el mismo trabajo, lo que es una diferencia muy significativa.

Figura 8: Mismo trabajo con pxpipe

Este "hack" de optimización se salta la política de costes del modelo, pero realmente no está haciendo nada prohibido, sino aprovechar los sistemas de tarificación y las capacidades de los modelos, pero es de suponer que como esta práctica se empiece a extender, simplemente cambiarán la política de tarificación en estos casos.

Figura 9: Demo 2 de pxpipe

En esta segunda demo que tenéis en vídeo, el resultado pasa de 12 USD a menos de 1 USD, lo que también es una reducción significativa. En el GitHub de pxpipe tenéis diferentes tablas y comprobaciones, pero lo puedes hacer tú. Es tan fácil como correr en local el proyecto y usar tu OpenCode a través de él para poder calcular lo que te consume y cómo funciona.

Figura 10: Límites de gasto en Cloudflare AI Gateway

Este es un buen "hack" de IA, pero donde más duele, a la parte económica. No obstante, si lo que quieres controlar en tu empresa el uso y los costes que hacen los usuarios en los modelos, en Cloudflare AI Gateway tienes límites de presupuesto y observabilidad de los costes en todo momento, algo que te va a permitir evitar "sustos" indeseables.

Figura 11: Cloudflare AI Gateway - Identity & Costs

Tienes toda la información sobre cómo funciona Cloudflare AI Gateway para el control de gastos en el artículo: "Your AI bill is out of control. Cloudflare can fix it now."

Figura 12:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Como podéis ver, esto va my rápido, pero entender bien todos los detalles, los controles, y los límites de funcionamiento de cada capacidad que te dan los modelos de IA es fundamental. Si tus servicios digitales dejan que tus modelos queden malamente expuestos, podrás ser tú el que pague los costos de otros, como vimos con las apps móviles y con los asistentes digitales inseguros.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)