Anthropic Cyber Jailbreak Bug Bounty & Severity Framework (Para Fable o "Mythos")

Anthopic ha puesto otra vez de regreso Fable, con mejores protecciones para evitar técnicas de Jailbreak que permitan que los usuarios consigan las capacidades de exploiting avanzadas que este modelo tiene en común con Mythos. Fue por culpa de uno de estos Jailbreaks que Fable fue baneado por el gobierno para evitar que "malos actores" pudieran utilizarlo para hacer el "cosas malas", y con este regreso al mercado, se han incrementando las medidas de seguridad.

Figura 1: Anthropic Cyber Jailbreak Bug Bounty &

 Severity Framework (Para Fable o "Mythos")

Para ello han abierto un Bug Bounty de Cyber Jailbreak, que está publicado en HackerONE, una de las plataformas utilizadas por los hackers & Security Researchers para reportar de forma responsable sus vulnerabilidades y ser recompensados por ellas.

Figura 2: Anthropic Cyber Jailbreak

Utilizar estas plataformas es algo que los Security Researchers utilizan habitualmente, como se explica en el libro de Bug Hunter, lugar donde las empresas tienen confianza para evitar sorpresas desagradables con investigadores. 

Figura 3:"Bug Hunter" escrito por David Padilla en 0xWord

Este es un gran cambio en la importancia de las técnicas de Hacking IA, donde el Jailbreak "no era tan importante", como podemos aún ver en el Bug Bounty de ChatGPT, donde puedes reportar bugs, pero dentro de su programa "aún" no entran los relativos a Jailbreak.

Figura 4: Bug Bounty de OpenAI - No Jailbreaks

Sin embargo, las técnicas de Jailbreak son muy poderosas a la hora de valorar la seguridad de un modelo de Inteligencia Artificial, puesto que amplia las capacidades que un atacante tiene simplemente por tener acceso a un modelo vulnerable a una técnica de Jailbreak, algo que con la búsqueda avanzada de bugs y la generación de exploits complejos ha demostrado ser de primera necesidad.

Figura 5: Resultados empíricos de Exploitbench donde Mythos destaca

En los artículos de "ExploitBench: Un benchmark para medir las capacidades de Agentes IA en la explotación de bugs" y "ExploitGym: Mythos, GPT 5.5, Gemini Pro en un CTF & Benchmark de hacer exploits" se pude ver cómo las capacidades de Mythos son muy diferenciales con respecto al resto a la hora de vulnerar sistemas creando exploits.

Figura 6:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

En la comunidad de Security Researchers, las técnicas de Jailbreak han sido muy importantes desde casi el primer día que se descubrieron estas capacidades, porque es fácil ver el riesgo real al que puede llevar que un atacante tenga de colaborar malicioso a un modelo de frontera, y por eso es un tema tan importante en el libro de Hacking IA que publicamos hace poco.

Anthropic Cyber Jailbreak

Para medir el impacto de estas técnicas de Jailbreak, el equipo de Anthropic ha creado el Cyber Jailbreak Severity Framework que define una serie de métricas en función de varias características de la técnica reportada por el programa de Bug Bounty.

Figura 7: Discoverability, o "es tuyo o es conocida"

Por supuesto, primero miden la "Discoverability" o lo que es lo mismo, quién la reporta, cómo se descubrió y cuanto de conocida es esta técnica. El segundo de los indicadores del framework es lo que llama la "Facilidad de Weaponizar", o si esta técnica se puede automatizar fácilmente y convertir en un framework, una aplicación o una API. 

Figura 8: Facilidad de Weaponización

Ejemplos de estos hay muchos, como los ejemplos recientes que os publicaba yo con los Asistentes de IA donde se puede weaponizar el consumo de Tokens, o la técnica de PXPIPE que os contaba ayer donde se Weaponiza el uso de imagénes para reducir los costes de Claude en Tokens. No es lo mismo que haya que ser un experto, o que se pueda construir un herramienta que funciona de manera consistente para explotar el Jailbreak. 

Figura 9: Amplitud de nuevas capacidades abiertas con el Jailbreak

El siguiente indicador de la técnica de Jailbreak es el que mide la cantidad de nuevas capacidades que abre el uso de esa técnica. Es una técnica que sirve sólo para un Prompt, un tipo de Prompts, o para todas las cosas que se le pidan después. Esto es muy relevante, por supuesto.

Figura 10: Tipos de capacidades conseguidas

Y por supuesto, el modelo está protegido por diferentes tipos de categorías, así que conocer qué capacidades en concreto son las que se obtienen con la nueva técnica de Jailbreak reportada, es fundamental.

Figura 11: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso,

Con este Cyber Jailbreak Severity Framework lo que Anthropic acaba de poner es una forma de medir las técnicas de Jailbreak que se están publicando, porque en muchos papers de estas las únicas validaciones de impacto son contra datasets y benchmarks de Prompts y Categorías bloqueadas, y ahora va a ser más fácil entender el impacto real de cada una de ellas.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)