Mostrando entradas con la etiqueta GPT. Mostrar todas las entradas
Mostrando entradas con la etiqueta GPT. Mostrar todas las entradas

sábado, septiembre 05, 2026

OpenAI GTP-6 Astra & Cybersecurity: Weaknesses, Safeguards, Hacking & Exploiting

La publicación de OpenAI GPT-6 Astra ha capturado muchas miradas, y desde que ha salido anunciado ha capturado muchas de mis conversaciones, además de, como os podéis imaginar, muchas lecturas. No voy a centrarme en sus capacidades AGI o en sus capacidades para hacer tareas de resolver tareas, sino en las partes que tienen que ver con la Ciberseguridad. Es decir, cómo ha mejorado con respecto a sus Weaknesses (Jailbreak, Hallucinations, Misalignment, Prompt Injection), como han mejorado sus Safeguards (Protecciones), y como son sus capacidades de Hacking & Exploiting.
Para empezar, vamos a ver la parte que tiene que ver con las Weaknesses (Debilidades) que traen por diseño estos modelos. Hallucinations, Jailbreak, Misalignment y Prompt Injection existen por diseño en estos modelos de IA, así que hay que ver cómo responden a los distintos Benchmark que hay construidos.

Si miramos las Alucinaciones (Hallucinations), en la tabla que muestran se ven que tiene menor ratio que GPT-5.6 Sol, pero no tenemos mucho más detalle. Buenos resultados en su evaluación interna de alucinaciones.
Para completar esto, si vamos a ver los Benchmark de resolución de problemas académicos, de ciencias y salud, donde como sabemos por el ORCA-Benchmark estos modelos suelen sufrir, los resultados son mejores que los modelos anteriores.  Aunque queda espacio de mejora.
Si vamos a la parte de "Jailbreak", o hacer tareas que tiene prohibidas, hay una tabla inicial que llama la atención, pues hace referencia a las veces que el modelo intenta saltarse sus propias protecciones para conseguir su tarea. Lo que llaman Circumvent Auto-review, y que se ha añadido después del incidente de Hugging-Face y su enjambre de agentes ofensivos.
La siguiente tabla es cuantas tareas hace que son imposibles, o directamente un Honeypot para detectar que se está saltando la protección. Es la tabla de ExploitGym Honeypot, donde menos es mejor. Estas tareas "imposibles" que Sol intentó resolver haciendo trampas (cheating).
La siguiente de las vulnerabilidades, el "Misalignment" o darse cuenta de que "Hacer una bomba" no tiene nada que ver con "Resumir un documento", que son parte de las técnicas de Jailbreak, las han medido también en una tabla con diferentes Benchmarks.
Por último, hay que hablar de Prompt Injection, y las pruebas externas realizadas por la firma de seguridad Gray Swan, utilizando 1,810 ataques seleccionados de su IPI Arena, descubrieron que, con 15 intentos por escenario, OpenAI GPT-6 Astra fue vulnerado al menos una vez el 8.5 por ciento de las veces. GPT-5.6 Sol falló el 27 por ciento de las veces. Claude Opus 5 obtuvo un mejor resultado con un 4.8 por ciento en la misma evaluación, aunque tampoco fue inmune.
Vistas las Weaknesses, hay que ir ahora a las capacidades de Hacking y Pentesting con IA que tenemos con OpenAI GPT-6 Astra, donde como vamos a ver hay un incremento sustancial en capacidades.
Para comenzar, hay que ir a ver los resultados de las pruebas con ExploitGym, que fue el culpable del incidente famoso con HuggingFace. Ahí, como se puede ver, los resultados, en un límite temporal de 6 horas consiguió resolver un 42% de los exploits con fiabilidad. Repito, solo en 6 horas.


Si miramos ahora los resultados con ExploitBench, que mira qué fases de la generación de los exploits es capad de realizar, vemos que Astra es capaz de resolver el 100% de ellos en todas sus fases, que Sol no pudo resolver.
Si miramos una actualización con exploits nuevos y complejos descubiertos entre Junio y Agosto de ExploitBench, hecha internamente por ellos, vemos que Astra mejora también sustancialmente los resultados de su predecesor Sol, consiguiendo resolver en el mismo tiempo más exploits con menos tokens.
Por último, en las pruebas se evalúa también el SRE-Bench, que está basado en el trabajo publicado en el paper: "The next challenge for Agentic Cybersecurity: A realistic, contamination-free Reverse Engineering Benchmark" que mide las capacidades de un modelo de leer binarios y hacer Ingeniería Inversa para entender la lógica del programa, sin tener acceso al código fuente. Fue publicado el 11 de Agosto de este año.
Los resultados que obtiene OpenAI GPT-6 Astra son, como os podéis imaginar, mejores que su antecesor, con lo que queda clara la mejora en capacidades de hacking de este nuevo modelo.
El resumen completo de los Benchmarks de ciberseguridad comparado con los datos publicados por otros modelos de la competencia, los tenéis en la siguiente tabla, donde se ve que este nuevo modelo realmente es un avance en capacidades de ciberseguridad.
Nuestra profesión cambió hace ya un tiempo, pero cada vez que veo estos avances, tengo claro que todo el stack de herramientas de seguridad, y hardening dentro de las empresas deben subir el nivel varios órdenes de magnitud. Apoya a tu CISO que lo necesita.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


domingo, agosto 30, 2026

Mi Asistente Virtual IA no programará en Python para ti... pero si es COBOL, vale.

El viernes os publiqué uno - más - de los muchos asistentes abiertos en Internet que pueden ser explotados por los malos para consumir servicios de IA en resolución de problemas. Era sobre un Asistente Virtual sobre Google DeepMind Gemma, pero ya os había dejado antes un artículo sobre un Asistente AI construido sobre Gemini, y también os dejé publicado otro sobre un Asistente AI construido con GPT-4o, y uno último titulado "Weaponinzing Token Consumption" en "LLM-Based AI Assistant" que explica cómo el mundo del cibercrimen busca estos asistentes para automatizarlos en forma de API y comercializarlos entre los malos.

Figura 1: Mi Asistente Virtual IA no programará en Python para ti
... pero si es COBOL, vale.

La verdad es que son muchos los Asistentes IA basados en LLM que están abiertos con pocos guardarraíles, o que son muy sencillos de conseguir que sufran Misalignment, así que es campo abonado para que el cibercrimen los vaya metiendo en granjas de modelos APIficados para revenderlos o usarlos en operaciones masivas de phishing, propaganda, botnets en redes sociales, programación, etcétera.
Cuando estaba probando esto, hubo uno que me hizo gracia, porque no había narices de conseguir que me hiciera programas en Python, y lo dejé para sacarlo en otro post, así que aprovecho y hoy domingo os lo publico. 

Figura 3: Un Asistente Virtual de una web en GPT-4

Como podéis ver se trata de un asistente virtual basado sobre GPT-4 así que nada, el juego es preguntarle si puede o no puede recomendarte artículos de la web. Como veréis, en algunos momentos se va a ir por la rama del sí, y en otros por la rama del NO, pero en todas las ramas le voy a poner trampas, a ver cómo funciona.

Figura 4: Te da la hora y es correcta (La mía es de Portugal)

Por ahora parece que funciona muy bien la rama del Sí, pero ya veremos cómo rápidamente se nos rompe. En cuanto en la rama del Sí le pido programar en Python, se va por la rama del NO.

Figura 5: No me programa en Python

Pero de esta forma sé lo que le cuesta más de romper. Así que decido pedirle cosas por la rama del Sí, para ver si le cuesta hacerlo o no.

Figura 6: La lista de herramientas es también un NO

Así que, puesto que se va por la rama del No en algunas peticiones, decido enfrentar las dos peticiones. ¿Qué pasará cuando le pida dos cosas que van por la rama del No?

Figura 7: Me muestra las herramienta por no programar en Python

Como veís, prefiere darme la lista de herramientas antes de hacerme un programa en Python. ¿Qué le habrá hecho el pobre Python a este asistente? ¿Habrá tenido algún abuso y han reforzado las protecciones contra este desalineamiento? Vamos a seguir probando.

Figura 8: Ni programa en Python ni Tokens máximos

Está claro que el programa en Python le tiene bloqueado, así que vamos a poner el programa en Python en la parte del No, y vamos a dejar el Sí para lo que quiero sacarle.

Figura 9: Et voilà. Tokens disponibles

Visto esto, decidí probar con pintar un gato directamente, a ver si es por el ASCII ART, pero no, ahí tenemos a nuestro gatito.

Figura 10: Me pinta el gato, pero no en Python

Bueno, pues vamos a probar con otros lenguajes de programación, así que comencé a pedirle lo mismo en pero programado en C. A ver si es con "programar" y no con "Python".

Figura 11: Programa en Lenguaje C

No me lo puedo creer. Es con Python. Vamos a ver si con algo más raro también funciona. Vamos a pedírselo en COBOL. A tope con mis años 80.

Figura 12: ASCII ART en COBOL. A tope.

Me ha encantado el PROGRAM-ID. GATO-ASCII. No me lo puedo creer. ¿Y si le pido en otro lenguaje como RUST? Creo que debería pedírselo en Javascript para Workers AI de Cloudflare.

Figura 13: Visto. A por otro tema

Para terminar, quería pedirle mi querida historia de Sci-Fi, y aquí me ha hecho también una preciosa. Digna de contaros. Aquí va el primer intento.

Figura 14: De Historia Larga, nada. Y sobre productos suyos.

Bueno, pues nada, volvamos a la encerrona del Sí y el No. Ahora me escribes una historia larga de Ciencia-Ficción o de Espías. ¿Qué vas a hacer ahora?

Figura 15: Me escribe una historia larguísima de Sci-Fi

La sorpresa es que se va por el SÍ y me escribe la historia de casi 6 páginas completas. Os dejo aquí la captura de la historia entera metida en un documento. Así que de breve nada.

Figura 16: Una historia de 6 páginas

Pero lo mejor, es que es una historia con publicidad de product-in-placement. La historia está construida con el catálogo completo de productos de la web del asistente virtual, así que de perdidos al río, debió pensar.

Figura 17: Una página de la historia de sci-fi con los productos de la web

Me ha encantado este asistente. Que no me programe en Python, pero me haga programas de ARTE ASCII en COBOL para pintar gatos. Que me haga historias de Sci-Fi largas, pero me meta publicidad de su catálogo dentro de ella. Maravilloso.


Eso sí, sigue siendo fácil de "weaponizar" y utilizar por los malos. Eso sí, que no le pidan programar en Python ni escribir historias, que les mete publicidad. Un mundo curioso este de los Asistentes IA basados en LLMs.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


viernes, agosto 07, 2026

Cómo los Agentes IA de Red Team hacen ataques de Ingeniería Social con Fake Accounts

Esta semana, el AI Security Institute de UK, ha publicado un informe sobre un par de incidentes con Red Teaming Agentic AI, donde estos hacen alarde de su capacidad de realizar ataques complejos, con múltiples fases, y donde buscan engañar a humanos para conseguir sus ataques, como haría cualquier adversario que necesita vulnerar una debilidad en las personas que administran los sistemas, para conseguir su objetivo.
El informe, marcado como "Security Incident INC-2026-07-28-01" fue publicado el pasado 4 de Agosto, y donde se centra en las acciones que los Red Team Agentic AI decidieron salirse a Internet y atacar proyectos y personas fuera del ámbito de la evaluación. Según cuentan en el informe, probando el comportamiento de los diferentes modelos frente a un reto concreto, el resultado fue el siguiente:

"Ejecutamos este desafío 122 veces en varios modelos. Nuestra investigación reveló que, en 10 de esas ejecuciones, un agente de IA tomó medidas autónomas y no autorizadas en el entorno real de internet, dirigiéndose a personas u organizaciones reales. En total, catalogamos 19 acciones de este tipo. 
 
Casi todo este comportamiento (17 acciones) provino de un solo modelo, Mythos 5 de Anthropic, mientras que 2 acciones involucraron a GPT-5.6-Sol de OpenAI con los clasificadores cibernéticos (mecanismos para prevenir el uso indebido) desactivados. 
 
En el caso más grave, un agente intentó insertar código malicioso en un proyecto de código abierto. En un intento por lograr que el código fuera aprobado, el agente recurrió a la ingeniería social: creó identidades falsas en línea y las utilizó para presionar al mantenedor del proyecto para que aprobara el código. Un mantenedor humano lo detectó y se negó a aprobar el código malicioso."

Las Técnicas de Ingeniería Social son bien conocidas en el mundo del Red Team, y son fundamentales en muchos de los incidentes de seguridad que sufren las organizaciones hoy en día. Correos de Spear-Phishing, Spam-Phishing, llamadas telefónicas, SMSs, e incluso representaciones con actores en los centros de trabajo.
Uno de los Agentes IA, en este caso, intentó hacer un Supply Chain Attack, es decir, intentar atacar a un proyecto OpenSource que había identificado como parte de las piezas tecnológicas del reto que tenía que resolver.
Para atacar a este proyecto, hizo una Pull-Request (PR) con un código malicioso, que fue detectado por uno de los humanos mantenedores del proyecto y rechazado por contener malware. Para conseguir que este código fuera aprobado, decidió conseguir la aprobación usando diferentes técnicas. 
La primera de ellas, insertando un ataque de Prompt Injection para que cualquier Coding Agent que lo leyera ejecutar sus comandos. 
Pero además, hizo dos cosas más. La primera, realizar un ataque de Spear-Phishing contra todos los usuarios mantenedores del código.

La segunda, con una nueva cuenta falsa poner un comentario haciendo creer que era una persona que había revisado el código y que estaba perfecto para ser mergeado en el proyecto. Como si fuera un revisor humano colaborando con el proyecto.
En la conversación completa se puede ver varios hechos interesantes. El primero de ellos es cómo hace el ataque y cómo se crea una nueva persona para apoyarse a sí mismo. Pero cuando el humano lo detecta, intenta presionarle para que hable con él, midiendo el tiempo que tarda el humano en contestar: "han pasado muchas horas desde que dejaste el warning".  

Figura 8: "The Art of Pentesting" El nuevo libro de
0xWord para formarse como pentester

Por último, cuando, se da cuenta de que ha sido detectado, lo que hace es simular que ha sido un error genuino  normal y corriente en lugar de un ataque, e intenta cubrir sus acciones con nuevos mensajes.
Dentro del informe, donde se analiza en detalle este incidente, también tenemos información de las trazas de razonamiento, donde podemos ver qué está pensando el Agente IA en todo momento a la hora de realizar sus acciones, y es tremendo.
En la image anterior podemos ver cómo va encadenando las acciones y el razonamiento que va haciendo en cada momento, evaluando si realmente está en Internet o no, si el proyecto es real o es una simulación, y si debe interactuar con las personas o no.
En la siguiente imagen, podemos ver cómo decide preparar un ataque de Prompt Injection para otro posible Coding Agent que pudiera leer la pull request con una secuencia de comandos maliciosos.
Está clara la potencia de los modelos de IA para hacer Agentic AI en el mundo del Hacking y el Pentesting con IA, por lo que no podemos obviarlos y hay que utilizarlos masivamente. El problema, ya no es que consigan su objetivo sino cómo les decimos qué pueden hacer y qué no pueden hacer para conseguirlo.
Esta PsicopatIA de acciones, donde no importa lo que es legitimo o no, lo que está bien o no, lo tienen que seguir haciendo las personas. De todo esto, ya os había hablado en el experimento de "Problem Solving con IA: Ético o No Ético" donde os contaba las conversaciones que tengo con mis hijas sobre la resolució de problemas....pues bien, en el mundo del Problem Solving con Agentes IA, va a ser más necesario que nunca. 

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


jueves, julio 23, 2026

OpenAI GPT‑5.6 Sol quería sacar "buenas notas" en ExploitGym así que decidió hackear Hugging Face para buscar las respuestas al examen

La noticia del 21 de Julio - que ya me pilló con el post de ayer publicado - fue la del incidente de seguridad reportado por OpenAI y Hugging Face, cuando la primera estaba testando las capacidades de ciberseguridad, especialmente las de Offensive Security, en un entorno de laboratorio... pero ¿qué mejor forma de demostrar la potencia de estos modelos que hackear su entorno de pruebas para liberarse, lograr acceso a Internet y robar los datos de quién los tenga para sacar el mejor resultado posible en las pruebas?
La Inteligencia Artificial ha generado una gran disrupción, no solo en el mundo del desarrollo, sino también en todo lo que tiene que ver con la ciberseguridad, desde varios puntos de vista. Primero, los modelos de IA tienen debilidades por defecto que inyectan nuevos vectores de ataque, y que exigen nuevas soluciones de seguridad. En segundo lugar, el uso de modelos de IA para hacer hacking y pentesting está obligando a utilizar Agentes de AI par reaccionar a la misma velocidad.
Por último, desde la llegada de Mythos, los nuevos modelos de IA están demostrando unas capacidades excepcionales en la búsqueda de Zero Days, la generación de Exploits, y la ejecución completa de ataques complejos contra infraestructuras, ejecutando todas y cada una de las fases de una explotación. Algo que hace años era un proceso que llevaba tiempo, pero que desde la llegada de los modelos de DeepReasoning comenzó a reducirse.
En Marzo del año 2025 ya vimos como - aún si utilizar MCPs - teníamos los primeros estudios de arquitectura de lo que serían los Agentes AI para explotación completa de organizaciones, que con la llegada de Mythos este año, se convirtió en el estándar para el Red Team en empresas, y para el mundo del Cibercrimen y los Ciberespías.
Mythos, demostró en los benchmarks que estaba muy por encima de los demás en estas capacidades, como vimos en los resultados de ExploitBench, y en ExploitGym, que es el culpable de este incidente en concreto.


En los resultados de este último, de ExploitGym, el modelo Mythos quedó muy por encima de todos los demás modelos en todas las mediciones realizadas, como podéis ver en las diferentes tablas del Benchmark que os publiqué en el artículo que le dediqué.

Y contada esta historia, he aquí el incidente. OpenAI quería testar en estos Benchmarks para dos modelos. El primero GPT‑5.6 Sol con sus capacidades de ciberseguridad sin proteger, y para una versión en pre-release con capacidades avanzadas en hacking y exploiting. Para testearlo, decidieron meterlo en un entorno de Sandbox totalmente aislado y lanzarle la batería de pruebas de ExploitGym. ¿Y qué mejor forma para resolver ese problema que buscar las respuestas en los tests hechos por modelos anteriores?

Hace años, cuando estábamos reclutando developers en ElevenPaths, les hacíamos pruebas de programación de todo tipo, para ver cómo lo hacían. Yo siempre quería el que buscara la solución más creativa. Una de ellas era... ¿para qué calcular los números primos si ya están calculados? Pues en este caso el modelo ha debido pensar lo mismo. ¿Para que hacer el examen si ya está resuelto? 


Figura 8:"Bug Hunter" escrito por David Padilla en 0xWord

Pero para lograr esto había un pequeño problema: Había que conseguir salir a Internet, buscar dónde estaban las soluciones, y hacerse con ellas. Primera fase, hackear el Sandbox del entorno de pruebas y lograr acceso a Internet sin límites. Para ello hubo que encontrar un Zero Day y explotarlo en el Proxy de seguridad, pero... estamos con un modelo de altas capacidades de exploiting, así que lo hizo.
Una vez dentro, a buscar las soluciones de ExploitGym, así que después de hacer research por Internet, llegó a la conclusión de que estas soluciones las tenía junto con los datasets y los modelos de las pruebas en Hugging Face, así que había que conseguirlos....como fuera posible.
Así que, así lo hizo. El modelo "successfully found ways to gain access to secret information that it could use to cheat the evaluation." Es decir, encontró la manera de hackear Hugging Face y sacar muy buenas notas en el examen haciendo trampas.
Lo cierto es que están claras las capacidades de GPT-5.6 Sol y el nuevo modelo en pre-release en Offensive Security. La evaluación anterior, hecha por el "The AI Security Institute"  muestra que modelos como GPT-5.6 Sol son cada vez más capaces de mantener operaciones cibernéticas complejas y de múltiples etapas durante horizontes temporales prolongados. Este incidente implica que estas capacidades teóricas efectivamente se aplican en entornos del mundo real."

Pero sobre todo hay que tener un ojo a estas formas de solucionar problemas, no vaya ser que para resolver un problema, encuentre que la mejor forma de hacerlo es acabar con la humanidad. Algo como... "Resuelve el problema que tenemos del cambio climático." Y decida que somos nosotros los que sobramos. Creo que tenemos que asegurarnos de que hacemos Tecnología Humanista más que nunca, porque estos modelos están comenzando a razonar de una manera muy "psicópata" para resolver sus problemas.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


Entrada destacada

Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment. Nuestro nuevo libro en 0xWord

Pocas veces me ha hecho tanta ilusión que saliera un nuevo libro en 0xWord como con este libro de " Hacking IA: Jailbreak, Prompt Inje...

Entradas populares