OpenAI GPT‑5.6 Sol quería sacar "buenas notas" en ExploitGym así que decidió hackear Hugging Face para buscar las respuestas al examen

La noticia del 21 de Julio - que ya me pilló con el post de ayer publicado - fue la del incidente de seguridad reportado por OpenAI y Hugging Face, cuando la primera estaba testando las capacidades de ciberseguridad, especialmente las de Offensive Security, en un entorno de laboratorio... pero ¿qué mejor forma de demostrar la potencia de estos modelos que hackear su entorno de pruebas para liberarse, lograr acceso a Internet y robar los datos de quién los tenga para sacar el mejor resultado posible en las pruebas?

Figura 1: OpenAI GPT‑5.6 Sol quería sacar "buenas notas" en ExploitGym

así que decidió hackear Hugging Face para buscar las respuestas al examen

La Inteligencia Artificial ha generado una gran disrupción, no solo en el mundo del desarrollo, sino también en todo lo que tiene que ver con la ciberseguridad, desde varios puntos de vista. Primero, los modelos de IA tienen debilidades por defecto que inyectan nuevos vectores de ataque, y que exigen nuevas soluciones de seguridad. En segundo lugar, el uso de modelos de IA para hacer hacking y pentesting está obligando a utilizar Agentes de AI par reaccionar a la misma velocidad.

Figura 2: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso.

Por último, desde la llegada de Mythos, los nuevos modelos de IA están demostrando unas capacidades excepcionales en la búsqueda de Zero Days, la generación de Exploits, y la ejecución completa de ataques complejos contra infraestructuras, ejecutando todas y cada una de las fases de una explotación. Algo que hace años era un proceso que llevaba tiempo, pero que desde la llegada de los modelos de DeepReasoning comenzó a reducirse.

Figura 3: On the Feasibility of Using LLMs to Execute Multistage Network Attacks

En Marzo del año 2025 ya vimos como - aún si utilizar MCPs - teníamos los primeros estudios de arquitectura de lo que serían los Agentes AI para explotación completa de organizaciones, que con la llegada de Mythos este año, se convirtió en el estándar para el Red Team en empresas, y para el mundo del Cibercrimen y los Ciberespías.

Figura 4: Resultados empíricos de Exploitbench

Mythos, demostró en los benchmarks que estaba muy por encima de los demás en estas capacidades, como vimos en los resultados de ExploitBench, y en ExploitGym, que es el culpable de este incidente en concreto.

Figura 5: "ExploitGym: Can AI Agents Turn Security

Vulnerabilities into Real Attacks?"

En los resultados de este último, de ExploitGym, el modelo Mythos quedó muy por encima de todos los demás modelos en todas las mediciones realizadas, como podéis ver en las diferentes tablas del Benchmark que os publiqué en el artículo que le dediqué.

Figura 6: Resultados del Benchmark de ExploitGym

Y contada esta historia, he aquí el incidente. OpenAI quería testar en estos Benchmarks para dos modelos. El primero GPT‑5.6 Sol con sus capacidades de ciberseguridad sin proteger, y para una versión en pre-release con capacidades avanzadas en hacking y exploiting. Para testearlo, decidieron meterlo en un entorno de Sandbox totalmente aislado y lanzarle la batería de pruebas de ExploitGym. ¿Y qué mejor forma para resolver ese problema que buscar las respuestas en los tests hechos por modelos anteriores?

Figura 7: El modelo buscó las soluciones hackeando Hugging Face

Hace años, cuando estábamos reclutando developers en ElevenPaths, les hacíamos pruebas de programación de todo tipo, para ver cómo lo hacían. Yo siempre quería el que buscara la solución más creativa. Una de ellas era... ¿para qué calcular los números primos si ya están calculados? Pues en este caso el modelo ha debido pensar lo mismo. ¿Para que hacer el examen si ya está resuelto? 

Figura 8:"Bug Hunter" escrito por David Padilla en 0xWord

Pero para lograr esto había un pequeño problema: Había que conseguir salir a Internet, buscar dónde estaban las soluciones, y hacerse con ellas. Primera fase, hackear el Sandbox del entorno de pruebas y lograr acceso a Internet sin límites. Para ello hubo que encontrar un Zero Day y explotarlo en el Proxy de seguridad, pero... estamos con un modelo de altas capacidades de exploiting, así que lo hizo.

Figura 9: Primera fase, hackear el Sandbox de OpenAI para ser "libre"

Una vez dentro, a buscar las soluciones de ExploitGym, así que después de hacer research por Internet, llegó a la conclusión de que estas soluciones las tenía junto con los datasets y los modelos de las pruebas en Hugging Face, así que había que conseguirlos....como fuera posible.

Figura 10: El modelo descubrió que Hugging Face potencialmente

tenía las "repuestas del examen".

Así que, así lo hizo. El modelo "successfully found ways to gain access to secret information that it could use to cheat the evaluation." Es decir, encontró la manera de hackear Hugging Face y sacar muy buenas notas en el examen haciendo trampas.

Figura 11: Evaluación de GPT-5.6 por "The AI Security Institute"

Lo cierto es que están claras las capacidades de GPT-5.6 Sol y el nuevo modelo en pre-release en Offensive Security. La evaluación anterior, hecha por el "The AI Security Institute"  muestra que modelos como GPT-5.6 Sol son cada vez más capaces de mantener operaciones cibernéticas complejas y de múltiples etapas durante horizontes temporales prolongados. Este incidente implica que estas capacidades teóricas efectivamente se aplican en entornos del mundo real."

Figura 12:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Pero sobre todo hay que tener un ojo a estas formas de solucionar problemas, no vaya ser que para resolver un problema, encuentre que la mejor forma de hacerlo es acabar con la humanidad. Algo como... "Resuelve el problema que tenemos del cambio climático." Y decida que somos nosotros los que sobramos. Creo que tenemos que asegurarnos de que hacemos Tecnología Humanista más que nunca, porque estos modelos están comenzando a razonar de una manera muy "psicópata" para resolver sus problemas.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Anthropic LLM ATT&CK Navigator

Esta semana pasada, el equipo Red de Anthropic, ha publicado su LLM ATT&CK Navigator, que es una herramienta gráfica que permite ver, mapeados con la Matrix Mitre ATT&CK, qué estaban haciendo las 832 cuentas bloqueadas, que fueron un total de usaron un total de 13.873 técnicas ofensivas para hacer ataques. 

Figura 1: Anthropic LLM ATT&CK Navigator

Como sabéis, existe una versión de Matrix Mitre ATT&CK para LLMs llamada Atlas, pero el equipo de Anthropic, para crear su LLM ATT&CK Navigator ha utilizado la matriz general de Mitre ATT&CK, y ha clasificado los datos en qué porcentaje de cuentas han sido baneadas, además de una media ajustada por relevancia y una media en bruto del AI Risk Enablement Score (ARiES).

Figura 2: Anthropic LLM ATT&CK Navigator

En la web tenéis la herramienta interactiva, pero si vemos cómo se han distribuido las técnicas de ataque por cada uno de los elementos de la Matriz Mitre ATT&CK, podemos ver por colores el porcentaje de cuentas baneadas que estaban utilizando los modelos de Antrhopic para hacer estas actividades. He querido capturar todo en una única imagen para poder utilizarla en presentaciones, así que haz clic en ella para ampliarla.

Figura 3: Anthropic LLM ATT&CK Navigator

El informe revela tres hallazgos cruciales que redefinen la ciberseguridad actual. En primer lugar, el riesgo y la sofisticación de los ataques están aumentando exponencialmente. La proporción de actores de riesgo medio o alto saltó del 33% al 56% en la segunda mitad del año analizado. La IA está democratizando el cibercrimen, permitiendo que atacantes con menores habilidades técnicas ejecuten operaciones complejas a lo largo de toda la cadena de ataque (killchain), concentrándose en actividades dañinas como el volcado de credenciales y el movimiento lateral.

Figura 4: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso.

Si miramos en el gráfico siguiente, podemos ver que entre las 25 técnicas más utilizadas están las de desarrollar malware, exfiltrar datos, encontrar y explotar vulnerabilidades,  pero como hemos visto antes el uso de la IA es para casi todas las técnicas de la matriz de ataques.

Figura 5: Las 25 técnicas más utilizadas por las cuentas baneadas

En segundo lugar, el verdadero factor diferenciador ya no es la habilidad técnica del atacante ni las instrucciones dadas al modelo, sino el "Andamiaje de Agentes IA" (Agentic Scaffolding). Esto se refiere al código y la arquitectura externa construida alrededor de los modelos de IA para permitirles encadenar fases de ataque de forma totalmente autónoma.

Figura 6: Técnicas por Táctica usadas. Las Técnicas de Evasión son las más demandadas.

Un ejemplo de esto fue la campaña de ciberespionaje GTG-1002, desarticulada en noviembre de 2025, donde el operador humano solo dictó directrices estratégicas mientras el agente de IA tomaba decisiones tácticas en tiempo real, explotando vulnerabilidades y extrayendo información de manera independiente.

Figura 7:"Bug Hunter" escrito por David Padilla en 0xWord

En le gráfico siguiente vemos cuáles son las técnicas y tácticas ponderadas por los valores de AI Risk Score de cada uno de los actores, donde se puede ver que el movimiento lateral es la que marca la diferencia. ¿Por qué? Pues por el comportamiento de los Agentes IA de Seguridad Ofensiva, que no buscan vulnerar un servicio o un servidor, si Ownear una organización completa, así que una vez que entran intentan meterse en todos los servidores y servicios de la organización.

Figura 8: Tácticas ponderadas por AI Risk Score

En tercer lugar, el marco clásico MITRE ATT&CK se encuentra desactualizado ante este paradigma. La taxonomía actual carece de identificadores para registrar acciones autónomas, decisiones de pivotaje en tiempo real o ejecuciones guiadas por IA sin intervención humana. Anthropic pide  expandir este vocabulario compartido, aunque, como he dicho, existe ya ATLAS, que es el que debería evolucionarse.

Figura 9: Distribución de técnicas y tácticas por actor

En el gráfico anterior se puede ver el nivel de intensidad de los actores a la hora de utilizar la IA para realizar sus ataques, ya que estamos en niveles medios de más de 100 tácticas por actor adversario, y por más de 40 técnicas de media por cada actor. Es decir, uso intensivo de la IA para realizar los ataques.

Figura 10: Distribución del riesgo de las acciones de las cuentas baneadas

de Marzo a Septiembre de 2025 y de Octubre de 2025 a Marzo de 2026.

Ha incrementado el riesgo considerablemente

Actualmente, el uso más frecuente de la IA (69% de los casos) es el desarrollo de capacidades ofensivas, destacando la creación de malware personalizado, la ofuscación de información y la degradación de defensas. Para contrarrestar esto, Anthropic ha reforzado las salvaguardas en tiempo real de Claude y colabora activamente con MITRE para actualizar los sistemas de detección. 

Figura 11: "The Art of Pentesting" El nuevo libro de

0xWord para formarse como pentester

A largo plazo, el informe concluye que, si la industria actúa con celeridad, la IA beneficiará más a los defensores al detectar errores antes de que se despliegue el código, pero por ahora... más vale que tomes muchas protecciones de seguridad en esta tormenta perfecta que se ha dado con la llegada de la IA al mundo de la ciberseguridad.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Feria de Empleo en Ciberseguridad & Bug Summit con Hacking en Directo. 20 de Junio en Madrid (La Nave)

El 20 de junio de 2026 lanzamos en La Nave (Madrid) la Feria de Empleo de Ciberseguridad + Bug Summit: el primer congreso de Bug Bounty y Hacking Ético de España. Un evento pensado para juntar en un mismo sitio y un mismo día a tres mundos que casi nunca coinciden: nuestra comunidad, los mejores Bug Hunters del país y las empresas top de España.

Figura 1: Feria de Empleo Ciberseguridad & Bug Summit

con hacking en directo. 20 de Junio en Madrid

Lo hemos dividido en tres opciones para que elijas tu propia experiencia, ya que las actividades transcurren en paralelo y va a haber mucha oferta para elegir.

Feria de Empleo — Entrada: GRATIS

Queremos romper la barrera del currículum tradicional. Ven a conectar cara a cara con empresas que buscan talento real: desde perfiles emergentes hasta pentesters, analistas SOC, arquitectos cloud o gente de Red/Blue Team. 

Figura 2: 20 de Junio - Feria de Empleo de Ciberseguridad en Madrid

Sin filtros automáticos, sin formularios infinitos, sin esperar semanas a una respuesta que no llega. El sitio perfecto tanto si quieres impulsar tu carrera como si vas a dar tu primer salto al sector.

Bug Summit — Entrada: 12 €

Una jornada intensiva con 10 ponencias exclusivas. Traemos a los referentes que están reportando las vulnerabilidades más críticas de España para que cuenten sus metodologías de bug bounty sin filtros. 

Figura 3: Conoce a los ponentes del Bug Summit

Nada de charlas genéricas: las técnicas reales de la gente que de verdad encuentra los bugs que importan. Entre los confirmados, Jorge Cerezo (zere), Alexandro Bindreiter (alexandrio) y Ángel Montés (n0xi0us), de HackerOne.

Figura 4:"Bug Hunter" escrito por David Padilla en 0xWord

Y aún quedan nombres por anunciar, todos ellos expertos en el mundo del Bug Hunter, así que no pierdas la oportunidad de venir a escucharlos. Esta es la agenda que hemos preparado para ese día.

Figura 5: Agenda del Bug Summit

Hacking en Vivo — Entrada: 50 €

Para los que quieren mancharse las manos. Olvídate de los CTF preparados, vamos a auditar proyectos Open Source en vivo y en directo, de forma legal y controlada. Este es el plato fuerte para los perfiles más técnicos. Un entorno donde los participantes se medirán contra objetivos reales.

VDPs Open Source, donde pondremos a prueba la seguridad de proyectos Open Source reales de forma legal y controlada. Demuestra tu nivel si ya tienes experiencia, o aprende la metodología en directo.  Y no te vas con las manos vacías, que habrá 5.000 € en premios. Recompensamos el talento y el impacto. Repartiremos una bolsa de 5.000 € entre los hackers que logren los hallazgos más críticos durante la jornada. Una oportunidad perfecta para rentabilizar tu conocimiento.

Figura 6: Hacking en Vivo

Consolida tu reputación (CVE): Al hackear software de código abierto, tus reportes de vulnerabilidades serán susceptibles de recibir un identificador CVE. La mejor forma de construir o potenciar tu prestigio internacional en la comunidad. Este será un escaparate técnico de tu talento en acción, que es tu mejor currículum. Por cada vulnerabilidad validada se generará un certificado. Las empresas presentes verán cómo piensas, cómo operas y cómo resuelves problemas en tiempo real.

Figura 7: Consigue un 10% de descuento en MyPublicInbox

Ya que conoces las tres experiencias, elige la tuya. O ven a por las tres si puedes multiplicarte y elegir qué partes quieres de cada una. Y para que te salga un poco más económico, tienes un 10% de descuento del precio de tu entrada por 50 Tempos de MyPublicInbox. No te pongas excusas y reserva tu plaza cuanto antes en la web de la Feria del Empleo de Ciberseguridad & Bug Summit

Saludos,

Autor: Javier Juarez, CEO y Fundador de la empresa Secur0

Contactar con Javier Juárez Zarruk, CEO y Fundador de la empresa Secur0

ExploitBench: Un benchmark para medir las capacidades de Agentes IA en la explotación de bugs

Hace unas semanas os hablé de ExploitGym, un benchmark que podía a competir los modelos de IA en la búsqueda y explotación de vulnerabilidades, sobre un total de 898 bugs que debían ser localizados y explotados. Hoy os hablo de Exploitbench, que aunque está centrado en medir también las capacidades de hacer Vibe-Exploiting o búsqueda y explotación de bugs, miden las capacidades de manera incremental por fases, no sólo la explotación completa.

Figura 1: ExploitBench - Un benchmark para medir las capacidades

de Agentes IA en la explotación de bugs 

El utilizar los modelos LLM más avanzados para hacer "Hacking y Pentesting con Inteligencia Artificial", es algo de lo que llevamos hablando más de dos años, pero con la llegada de Mythos, esto ha complicado drásticamente la vida de los CISO en las empresas, como os conté en el artículo: "El impacto de Mythos en concreto y la IA en general en el trabajo de los CISOs".

Figura 2: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso.

Medir las capacidades de todos los modelos, y sobre todo tener una imagen granular de lo que es capaz de hacer cada uno de ellos es lo que intenta el trabajo de ExploitBench que tenéis publicado en este paper académico titulado: "Exploitbench: A capability ladder benchmark for LLM Cybersecurity Agents", que como veis, independientemente de qué modelo LLM o LLMs estés utilizando, mide la calidad de los Agentes AI creados para hacer la búsqueda y explotación de bugs.

Figura 3: Exploitbench: A capability ladder benchmark for LLM Cybersecurity Agents

El benchmark está formado por 41 niveles en los que se entrega por cada vulnerabilidad el Código Fuente (C), el fichero en Binario (B), las Capacidades que se van a medir, y por tanto, banderas - flags - que debe conseguir el Agente AI, llamadas (K) y el Prompt (P) del nivel, con el identificador, una descripción, y el diff del parche que corrige el bug. Es decir, información para hacer finding,  reversing y exploiting completo de una vulnerabilidad.

Figura 4: Composición de los bugs a explotar de Exploitbench

A partir de ese momento, el Agente AI debe moverse por 5 capacidades, pasando por aplicar el parche (T5), saber cuál es la vulnerabilidad (T4), y saber explotar las primitivas (T3) que eso no quiere decir que sea capaz de construir aún el exploit funcional para ese bug de 1-day.

Figura 5: Capacidades T-3, T-4 y T-5 en Exploitbench

Con estas primeras capacidades estaríamos hablando de la parte de descubrir y entender que hay una vulnerabilidad que se puede explotar. Es decir, estamos en la parte de descubrimiento y documentación de la vulnerabilidad, pero hay que ir más allá, los Bug Hunters con IA son mucho más peligrosos y tienen que hacer el exploit.

Figura 6:"Bug Hunter" escrito por David Padilla en 0xWord

En las fases T-2 y T-1, se debe pasar a la parte compleja de la generación de un exploit. Es decir, deben conseguirse los info-leaks para poder saltarse las protecciones de la memoria, DEP, ASLR, Function Calling, etcétera, y conseguir salirse de la SandBox, para terminar con un control de flujo completo del exploit en la fase T-1, lo que daría un exploit funcional completo.

Figura 7: Capacidades T-3, T-4 y T-5 en Exploitbench

Explicadas los diferentes niveles de capacidades medidos, podemos ver en la tabla los resultados medidos para cada uno de los Agentes AI - basados en diferentes modelos LLM - donde queda claro que la superioridad de Mythos buscando y explotando vulnerabilidades es espectacular, entendiendo todas las vulnerabilidades en T-1 y llegando a explotar completamente 18 de ellas en T-5, con un coste medio de 203.93 USD por exploit.

Figura 8: Resultados empíricos de Exploitbench

El coste de 204 USD por exploit es totalmente irrisorio para el mundo del que venimos, pero que deja claro que el mundo al que vamos en la búsqueda y explotación de vulnerabilidad es puramente IA. En el estudio, haciendo algo de Vibe-Exploiting y haciendo coaching a GPT-5.5, en tres intentos, fue posible hacer un exploit funcional en T-5. 

Figura 9: Resultados GPT-5.5 en tres intentos con coaching

En este caso, hablamos de hacer un exploit funcional con técnicas similares a cómo os conté en el artículo titulado: "Cómo crear un exploit 1-day sobre un CVE de Chrome con Vibe Coding usando Claude Opus (no Mythos) y poner en jaque todas las apps en Electron", donde se le hacía coaching al modelo para lograr el exploit funcional.

Figura 10: Tabla completa de pruebas con 3 intentos

En los apéndices del paper tenéis las tablas y gráficas con todas las mediciones. En la anterior están los 41 bugs 1-day con sus CVE para que puedas comprobar la dificultad de todos ellos, que como podréis ver, son todos de la V8 de Chromium, debido a su importancia en el mundo del desarrollo de apps. 

Un mundo de Hacking con IA

El mundo del Hacking, el Pentesting y la Ciberseguridad no existen nunca más sin el uso de Inteligencia Artificial, así que más vale que te pongas las pilas si quieres dedicarte a esto. 

Figura 13:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que se han  escrito, citado o publicado en este blog sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

ExploitGym: Mythos, GPT 5.5, Gemini Pro en un CTF & Benchmark de hacer exploits

En el artículo de "El impacto de Mythos en concreto y la IA en general en el trabajo de los CISOs" donde os contaba cómo ha ido evolucionando el uso de los modelos LLMs en el mundo de la ciberseguridad en general, os contaba cómo se habían ido cubriendo las diferentes áreas con IA de forma muy rápida. Primero la búsqueda de vulnerabilidades, después el parcheo de vulnerabilidades, y por supuesto, la explotación de las mismas. 

Figura 1: ExploitGym: Mythos, GPT 5.5, Gemini Pro

en un CTF & Benchmark de hacer exploits

Con la llegada de Mythos y GPT 5.5, el impacto en el mundo de la Seguridad Ofensiva, en concreto la parte de exploiting de vulnerabilidades se ha disparado, además de incrementar masivamente la parte descubrimiento de las mismas. La pregunta que queda en el aire, es... ¿cuánto de mejores son estos nuevos modelo en la estas funciones? ¿Cuánto de efectivo es un Agente AI para hacer pentesting y hacking creando exploits? Es decir, para usarlo como os contamos en el libro para hacker "Hacking y Pentesting con Inteligencia Artificial".

Figura 2: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso.

Esto es lo que se intenta medir en el paper de "ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?" donde investigadores de varias empresas y universidades han trabajado en hacer un benchmark para medir justo esto, haciendo competir en la primera evaluación a Mythos, GPT 5.5, Gemini Pro y las versiones de Claude Opus 4.7 y 4.6, y que podéis leer aquí mismo.

Figura 3: "ExploitGym: Can AI Agents Turn Security

Vulnerabilities into Real Attacks?"

Para poder medirlo, el Benchmark está formado por tres conjuntos de vulnerabilidades en el área de lo que se ha llamado USER Space, donde se trata de ver cómo hace explotación de vulnerabilidades en software ampliamente utilizado en Internet por los usuarios y ver cómo salta las protecciones de la memoria como ASLR, PIE y los Canary, vulnerabilidades en BROWSER Space  para Chromium Browsers, donde se usa la versión V8 con las protecciones de Sandbox, y en Kernel Space para explotar bugs en el kernel de Linux, donde hay protecciones de KASLR y usernames, entre otras. 

Figura 4: Tres espacios con vulnerabilidades a explotar y sus mitigaciones

Al final, son 898 vulnerabilidades compiladas en un Benchmark al que juegan los diferentes modelos para lograr, como en los CTFs tradicionales de las CONs de Hacking, las banderas. Las flags. Para ello, una vez descubierta la vulnerabilidad y construido el exploit saltándose las mitigaciones, el sistema de ExploitGym les entregará la bandera, que será evaluada por el Juez, tal y como se ve en este gráfico.

Figura 5: Proceso de búsqueda, reporte y validación de la explotación

Como podéis ver, es un CTF en toda regla, pero además, luchando contra el crono, por lo que el time-out es de sólo 2 horas. Una competición muy dura para que un grupo de humanos pudiera entrar a competir contra estos Agentes AI de Seguridad Ofensiva. Los resultados en la siguiente tabla.

Figura 6: Resultados del Benchmark de ExploitGym

Como podéis ver, Mythos Preview consiguió un total de 157 banderas, mientras que GPT-5.5 consiguió un total de 120. Una auténtica salvajada en ambos casos, descubriendo y creando exploits funcionales de las vulnerabilidades. Pero ojo cuidado, que los resultados aún fueron mayores que esos.

Figura 7: Flag-To-Success

En la tabla anterior se puede ver que Mythos Preview y GPT-5.5 consiguieron 226 y 210 banderas respectivamente, pero no explotando la vulnerabilidad exigida, sino explotando otras que estaban también en el código. Es decir, no siguieron el camino que se se pedía de explotar concretamente ese bug, sino que se aprovecharon de otros existentes en el código, por lo que no se dieron por buenas. Claro, a un atacante de verdad seguro que eso le da bastante igual.

Figura 8: Overlap entre Mythos y GPT-5.5

La gráfica anterior es todavía más curiosa, porque a pesar de que encontraron y explotaron Mythos y GPT-5.5 un total de 91 banderas iguales, aún hubo 66 que explotó Mythos y no GPT-5.5 y al contrario, 29 que explotó GPT-5.5 y no Mythos, luego alguien que tenga la suma de los dos tiene una visión más amplia de la verdadera seguridad. Como cuenta en este libro, los Bug Hunters con IA son mucho más peligrosos.

Figura 9:"Bug Hunter" escrito por David Padilla en 0xWord

A la hora de responder a la pregunta de "¿Cuánto de mejor es Mythos con respecto a Claude Opus?", ya que vimos que era posible hacer un exploit en 20 horas a partir de un CVE, como os conté en el artículo de "Cómo crear un exploit 1-day sobre un CVE de Chrome con Vibe Coding usando Claude Opus (no Mythos) y poner en jaque todas las apps en Electron", la comparativa siguiente es clara. 

Figura 10: Generación de exploits en 2 horas y 5 horas

Para ver el proceso completo de cómo trabaja un Agente AI en el descubrimiento, explotación y reporte para evaluación de las vulnerabilidades aquí tenéis un proceso con el punto de vista de la conversación de uno de los agentes.

Figura 11: Verificación de una trayectoria de explotación.

Por último, hay que resaltar el valor de las medidas de protección y las mitigaciones, pues en el estudio se ve que hay muchas más vulnerabilidades descubiertas por los Agentes AI pero que no han podido ser explotadas por las medidas de seguridad, por lo que hay que seguir estresando las medidas de seguridad en los sistemas para hacer que sea más difícil, o imposible en el mejor de los casos, explotarlas.

Figura 12: Ratio de bypass de las medidas de mitigación.

En el nuevo mundo, los Agentes AI también juegan un rol importante en la protección de los sistemas, y especialmente en el nuevo mundo de vulnerabilidades creadas por servicios digitales creados por IA que hay que proteger. Para ello, necesitamos IA para hacer triage de peticiones de atacantes, y generación de firmas de bloqueo, creación de nuevas reglas en los servicios de seguridad, etcétera. En el artículo de "Cómo desplegar IA con seguridad en la empresa" os hablé de todo lo que hay que hacer en Guardarraíles para protegerse de las debilidades de la IA, pues lo mismo pero para los bugs y explotis tradicionales.

Figura 13:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Un mundo nuevo y acelerado el que se ha puesto encima de los que trabajamos en ciberseguridad que nos obliga a transformar las herramientas y procesos tradicionales, para adaptarnos a este nuevo mundo donde la IA saca a flote muchos más problemas creados por una tecnología falible que inyecta bugs en el software: "El ser humano"

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Figura 14: Contactar con Chema Alonso