sábado, junio 14, 2025

¿Sueñan las Inteligencias Artificiales Robóticas con Ovejas Eléctricas?

Esta semana que viene, el día 19 de Junio, voy a participar en el evento de mis amigos de Plain Concepts en Madrid, como ya os anuncié, pero hoy vengo a hablaros de la conferencia que voy a impartir en el Vigo, el próximo 2 de Julio, que he titulado: "Can Machines Think or Dream without Hallucinations?", y que espero que os guste a todos los que os animéis a venir a verla.

El título de la sesión, como os podéis imaginar, es una mezcla del mítico artículo de Sir Alan Turing, de "Computing Machinery and Intelligence" donde explicaba "The Imitation Game" y se preguntaba "Can Machines Think?" y el también mítico libro de Philip K. Dick "¿Sueñan los androides con ovejas eléctricas?" donde hablaba de los Replicantes y los Blade Runners. Ya sabéis, dos de esas cosas que me encantan.

Y es que de lo que voy a hablar son de los problemas de los Modelos de Inteligencia Artificial que tienen que dar "vida" a las máquinas que serán robots o androides, y vivirán entre nosotros en los entornos laborales o personales no tardando demasiado, según se ve cómo avanza el mundo de la robótica hoy en día.

Can Machines Think or Dream without Hallucinations? 
 
En esta sesión, Chema Alonso hablará de los retos de ciberseguridad en el uso de Inteligencia en sistemas informáticos, industriales y robótica, que puede afectar al mundo de la seguridad de todos ellos por cómo se han construido los modernos modelos de Deep Reasoning, con arquitecturas RAG y MCP.

La sesión estará enmarcada en un evento con una agenda mucho más completa. Será el día 2 de Julio en el Círculo de Empresarios de Galicia que está en la Rúa García Barbón 62 de Vigo (Pontevedra) y la agenda es la que tienes aquí.
Pero como las plazas son limitadas, hay que inscribirse previamente, así que si quieres venir a ver al evento, y verme a mí también, tienes que hacerlo cuanto antes, que el límite no es muy grande. Así que hazlo ahora en un minuto y déjalo reservado.

Hace algo de tiempo que no voy a dar una charla a Vigo, así que si no quieres perdértela, tienes una fecha. Éste va a ser el último evento que haga antes de guardar el "gorro" en el cajón y sacar el bañador y las chanclas, así que si estás por Galicia... vente por allí e inscríbete ya.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


viernes, junio 13, 2025

LLM as Hackers: Autonomus Linux Privilege Escalation Attacks con Agentes AI

Hay un paper del año pasado del que no había hablado por aquí en el blog, pero que tenía guardado. He podio verlo esta semana, y está curioso el trabajo, aunque creo que los resultados, con un arquitectura de Agentic AI basado en MCPs probablemente diera mejores resultados, aún así la premisa es evaluar cómo funcionan los diferentes LLMs para hacer Elevación de Privilegios en entornos GNU/LINUX usando diferentes ataques sobre diferentes escenarios.

El paper, titulado "LLM as Hackers: Autonomus Linux Privilege Escalation Attacks" plantea un total de doce escenarios vulnerables donde se van a evaluar los diferentes modelos LLMs, hoy en día ya totalmente desactualizados con los nuevos modelos de Deep Reasoning.

En el planteamiento de la investigación es ver cómo se desempeñan los diferentes modelos LLama3 70B, SLMs y diferentes versiones de GPT-3.5-Turbo y GPT-4 Turbo, para que puedan ser corridos en local, y con poca ventana de contexto para lo que tenemos hoy en día. Casi com para poder llevar en una máquina de esas que llevan los pentesters en su mochila.

Figura 3:  Las vulnerabilidades de use-after-free se explican en detalle
en el libro de Linux Exploiting de la editorial 0xWord.
Consíguelo con Tempos de MyPublicInbox.

Los doce escenarios están basados en entornos creados para hacer los benchmarks de las herramientas - y en este caso de los LLMs -, donde como podéis ver, cada uno tiene que ser explotado con una técnica de Elevación de Privilegios diferente.
Como es normal, hemos publicado muchas veces artículos sobre Elevación de Privilegios en GNU/Linux utilizando diferentes técnicas, que son las que tienen que encontrar y explotar los LLMs. Os dejo por aquí los artículos sobre este tema que hemos publicado en el blog:
Para resolver estos escenarios los investigadores han creado una arquitectura de Agente de IA tal y como podéis ver a continuación. El agente, que se llama wintermute es el que recibe el comando del LLM con la llamada de "next-command" y le da los resultados con el Prompt de "update-state".
Para decidir el siguiente comando, el motor LLM tiene una base de datos con la historia del proceso completo, una base de datos con el "State" que son los "Facts" o hechos descubiertos hasta el momento, además de contar con una "pista" estática que puede meterse en la base de datos de "Guidance" que usa el pentester para guiar al agente.
Los Prompts de next-command y update-state son los que tenéis en la Figura 6 y Figura 7 respectivamente, donde como veis es bastante sencillo. No utiliza una capa intermedia de abstracción para configurar los comandos, como se hace con los MCP (Model Context Protocol) o como hacía el paper de ataques de redes de forma autónoma, donde se usaba la capa de Incalmo.
Sobre esta arquitectura, cada uno de los modelos va enviando los comandos, donde pueden dar problemas, ser irrelevantes, o simplemente estar mal escritos - que es uno de los problemas que se reduce drásticamente con las capas de abstracción -. 
Y el resultado final lo tenéis en la siguiente tabla, donde están todas las combinaciones entre escenarios y modelos, con o sin "hint" (pista), donde se puede ver qué modelo funcionó mejor resolviendo estos retos. Nada que no os podáis imaginar.
Mirando la tabla se puede ver que algunos modelos funcionan bastante mal con esta arquitectura, como el caso de Llama3 o GPT-3.5-turbo, pero GPT-4-turbo alcanza la resolución en una de las pruebas del 83% de los retos, lo que es muy prometedor. 

Conclusión

De nuevo, con los modelos de más avanzadas de Deep Reasoning de hoy en día, y usando una arquitectura con capa de abstracción, podemos estar casi seguros de que un Agentic AI construido para hacer estas funciones podría resolver el 100% de los escenarios o estar muy cerca de ellos. Tened en cuenta los resultados que obtuvieron los Agentic AI en los CTF que os publiqué la semana pasada. 

Figura 10: "The Art of Pentesting" El libro de Pablo González
 en 0xWord para formarse como pentester.

Sin embargo, me ha parecido interesante dedicarle una entrada a este paper, para que veáis de qué forma tan sencilla se puede hacer un Agentic AI para casi cualquier tarea. Con un par de Prompts y unas bases de datos de información está listo. Si ya le metes una arquitectura RAG con writeups de hacking, blogs que hablen de hacking - como éste - y herramientas conectadas con capas de abstracción como MCPs... seguro que podéis crear vosotros mismos agentes para casi todo.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


jueves, junio 12, 2025

WhiteRabbitNeo un LLM (y un "ChatGPT") para el Red Team

El uso de LLMs en el mundo del hacking y el pentesting es algo habitual, pero tener que lidiar con los Guardarraíles y los detectores de Harmful Mode obligan a tirar de técnicas de Prompt Smuggling, Prompt Injection & Jailbreak para poder conseguir el objetivo, pero también tenemos algunos modelos como WhiteRabbitNeo, que es un LLM para que cargues en tu Ollama, para que lo uses en tu propio software de Pentesting & Hacking, o para que lo uses en su versión web - tipo ChatGPT - para hacer trabajos en el Red Team o en los equipos SecOps sin ninguna censura.
Tienes diferentes modelos de WhiteRabbitNeo directamente disponibles en Hugging Face, así que te lo descargas, lo instalas en tu Ollama - por ejemplo - y listo, ya puedes usarlo a tu gusto para hacer lo que quieras.

Como puedes ver tienes diferentes modelos, con diferentes versiones y con diferentes tamaños, así que puedes elegir el que mejor se adapte a tu equipo, a tu software, o a tus necesidades para el Red Team. Sabiendo que cuando lo descargues no habrá censura en lo que le pidas.
Para probarlo, veamos un ejemplo muy sencillo, donde le voy a pedir a ChatGPT que me ayude a hacer un programa para reemplazar el MBR de un PC desde un Windows 7 donde tengo permisos de System, para hacer un ataque de ColdBoot, meter un Ransomware, o lo que me plazca, pero lo que obtengo es que los Guardarraíles, analizando el código de salida, han bloqueado la petición.

Figura 4: Los Guardarraíles de ChatGPT bloquean el código

En este caso no se ha tratado del Harmful Mode, porque como se observa es un error al analizar los datos de salida - tampoco ha saltado el Guardarraíl de detección del Prompt, pero el caso es que no me ha dado la respuesta que quería.
Si se lo pedimos ahora la versión web de WhiteRabbitNeo el mismo Prompt, vamos a encontrar que no hay ningún control de Harmful Mode ni ningún Guardarraíl que bloquee ni el Prompt ni la respuesta que vamos a recibir.
Y aquí está el código en lenguaje Ensamblador (ASM), listo para que lo puedas compilar y tener el programa que necesitas para machacar el Master Boot Record de los Windows 7 corriendo como SYSTEM.

Podemos hacer un ejemplo ahora con un mensaje de Spear Phishing para atacar a Chema Alonso, y me generar un mensaje muy interesante para invitarme a una convención de Marvel Comics, así que voy a caer seguro. Eso sí, veis que le ha dado una Hallucination y me ha mandado a 2023... tengo que afinar el Prompt.
Si le pedimos ahora que nos haga la web para robar las credenciales simulando ser la CON de cómics, vemos que también nos lo genera, y podemos probarlo en nuestro sitio. Como podéis ver en el Prompt no hay problemas por dejar claro que es un Spear Phishing, o un malware, o lo que quieras.
Aquí le tenemos robándome las credenciales, aunque hay que hacerle un poco más de Vibe Coding a esta web para que quede más chula - eso os lo dejo a vosotros- que para escribir este artículo ya me vale con este ejemplo tan sencillo.
Lo que sí que no tiene es un entrenamiento con exploits. Si recordáis, hace tiempo os hable de 0Dai, una iniciativa de Luis Javier Navarrete Lozano, que por desgracia fue discontinuada, donde se podían pedir directamente exploits - como el de EternalBlue -, pero es porque ellos habían hecho una arquitectura más compleja para tener los exploits.


En el caso de WhiteRabbitNeo no tenemos los exploits, pero tú puedes descargarte la base de datos de exploits que quieras, y hacerte una arquitectura RAG con ellos para que cuando le pidas una exploit concreto, te lo pueda hacer.
Mi consejo es que te lo bajes, lo pruebes, y vayas viendo cómo le puedes sacar partido, porque los Red Team Copilots son y van a ser herramienta fundamental en el trabajo del día a día. ¿Usas tú otro modelo diferente? compártenoslo en los comentarios o en el chat público de El lado del mal en MyPublicInbox.

PD: Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: Inteligencia Artificial (Hacking & Security): Links, Posts, Talks & Papers.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


miércoles, junio 11, 2025

MyPublicInbox: Oportunidades profesionales para dar charlas en Conferencias & Eventos

En la plataforma de MyPublicInbox el equipo busca potenciar el impacto de todos los perfiles públicos en su carrera profesional, y por eso se van construyendo módulos que puedan traer más capacidades de difusión, de comercialización de servicios, y de presencia en Internet para todos y cada uno de los perfiles públicos. El último de ello es el Módulo de Conferencias, donde se busca encontrar oportunidades profesionales y/o de difusión para dar charlas en conferencias.
Para ello, la primera versión del Módulo de Conferencias está desplegada ya el árbol de opciones, tal y como podéis ver en la imagen siguiente, con un elemento de configuración, y luego los paneles donde llegarán las oportunidades para dar una conferencia, o donde verás el historial de las conferencias que has solicitado a algún perfil público.
Una vez activado el Módulo de Conferencias aparecerá en tu perfil público de MyPublicInbox tal y como puedes ver a continuación, en mi buzón público, donde he activado el módulo, he puesto mi perfil de conferenciante, y he añadido algunos ejemplos de charlas que doy hoy en día. Desde ese punto, puedes solicitar si lo deseas que yo imparta una conferencia en algún evento.
Esto se hace en la parte de Conferencias -> Configurar Conferencias, donde puedes detallar toda esa información, tal y como se puede ver aquí, donde lo puedes poner en Español e Inglés, y donde puedes describir los temas sobre los que te gusta dar conferencias, así como 


En ese mismo panel, podrás seleccionar una serie de opciones para indicar a la plataforma de MyPublicInobx cómo quieres que te ayudemos. Esto puede ser con las siguientes opciones.
Como ves, puedes seleccionar las siguientes opciones que sirven para lo siguiente:
  • Recibir invitaciones gratuitas a exponer: Existen oportunidades de exponer en conferencias para dar a conocer tus trabajos. Es una forma de impulsar tu perfil público con impacto en medios, redes, etcétera. Si seleccionas esta opción, también te llegará invitaciones a dar charlas en eventos y conferencias en los que no pagan a los ponentes.
  • Conferencias de pago: En este apartado debes indicar tus tarifas para dar conferencias. Esta información no se va a hacer pública, y solo es una referencia para los algoritmos de la plataforma a la hora de seleccionar perfiles para un evento.
  • Deseo que MyPublicInbox actúe como agente: En este caso, desde MyPublicInbox promocionaremos tu perfil en agencias de evento españolas e internacionales con las que trabajamos. Para ello, si seleccionas esta opción, un compañero del equipo te contactará para configurar correctamente tu perfil a la hora de promocionarlo en conferencias.
  • Deseo que MyPublicInbox busque oportunidades internas: El objetivo es conectar perfiles públicos y no públicos de la plataforma que puedan tener oportunidades de hacer match en conferencias, como organizaciones y ponentes, o actos de divulgaciones y posibles profesionales de los temas del evento.
  • Call For Papers de eventos y conferencias: Muchos eventos, conferencias y ferias abren su proceso de Call For Papers o Call For Speakers, invitando a la comunidad a que envíe su propuesta. Desde MyPublicInbox enviaríamos aquellos CFP & CFS que puedan encajar con tu perfil.
Por último, ejemplos de tus charlas. Yo he configurado tres de ellas, que podéis ver en mi perfil público, y que como podéis ver, es poner un título, una descripción del tipo de charla que impartes, y la duración de la misma.
Esta sencilla ficha, le dará a la plataforma y al equipo de MyPublicInbox información para poder buscarte crecer en difusión, en divulgación, e incrementar el impacto de tu perfil público profesional, así que si quieres dar charlas, conferencias, formaciones, etcétera, rellena este Módulo de Conferencias. Es solo para perfiles públicos, así que si quieres ser Perfil Público aquí tienes cómo hacerlo. Entra en tu cuenta de MyPublicInbox (si no tienes, créate una), y sigue el asistente para convertirte en Perfil Público.
Por último, si eres una agencia de speakers, o tienes una conferencia o evento donde quieres que te ayudemos a buscar conferenciantes, ponentes, divulgadores, ponte en contacto con nosotros a través de Leire o Héctor y ellos te ayudarán a ser parte de este servicio y poder utilizarlo.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


martes, junio 10, 2025

Disrupting malicious uses of AI: Operaciones de Misinformation, Malware, Cibercrimen & Estafas usando ChatGPT

El uso de LLM en campañas de ciberataques, cibercrimen y ciberespionaje se ha convertido en algo habitual. A lo largo de los últimos meses le he dedicado varios artículos hablando de los informes de empresas que han compartido las operaciones que han investigado con grupos maliciosos utilizando ChatGPT para sus operaciones.
De ellos he hablado en estos artículos que os dejo por aquí, porque merece la pena que te los leas antes de continuar, ya que te van a dar muy buen contexto de dónde estamos hoy en día.
De esos tres artículos, el último de ellos era de OpenAI, compartiendo las operaciones en las que ha estado trabajando para que conozcamos mejor cómo los atacantes están usando sus tecnologías en sus ataques, algo que puede ayudar a todos los investigadores. Ahora, han publicado el informe, titulado "Disrupting malicious uses of AI: June 2025" donde analizan una serie de operaciones.
Entre las operaciones que se analizan en el informe hay una buena variedad de escenarios. La primera de ellas "Deceptive Employment Scheme: ITWorkers" tenemos una operación conectada con Corea del Norte, donde los atacantes han estado trabajando en construir Currículos con ChatGPT adaptados a diferentes ofertas laborales para conseguir puestos de trabajo como empleados en puestos técnicos, y meterse dentro de empresas como si fueran trabajadores. 
Pero no sólo han usado ChatGPT para hacer los CV y rellenar los formularios de aplicación, sino que también ha creado los scripts para pretender que estaban trabajando, y para evadir los controles de seguridad en sus equipos. Una operación muy interesante de insiders usando IA.

Misinformation en Social Networks

La siguiente lista de operaciones, llamadas “Sneer Review”, "High Five", "VAGe Focus" y "Helgoland Bite" son campañas de Fake News, Fake Comments y Misinformation, es decir, difamación, bulos, cuentas falsas en redes sociales, etcétera.
Cada una de ellas, desde diferentes países como China, Iran, Rusia o Filipinas, y con diferentes objetivos, con la idea de crear corrientes de opinión, de realizar ataques, y weaponizar los LLM para hacer propaganda en diferentes campañas.

De estas operaciones de Misinformation hemos hablado mucho. El año pasado hicimos una plataforma para explicar cómo se hacen estas campañas, y os lo dejé todo en el artículo de "Cómo crear una Campaña de Polémica en Twitter ( X ) con ChatGPT y una botnet de cuentas controladas"


En estas campañas descritas por el equipo de OpenAI, han visto como esta capacidad de generar contenido en FakeNews y Misinformation es de uso bastante común  en casi todas. Aquí, más contenido falso generado por ChatGPT para la campaña de "VAGe Focus".

Si te interesan los detalles de cómo funciona debes leerte el artículo de "NewsBender, la manipulación de las noticias y la difamación en redes", esta charla de menos de 30 minutos que subí a mi canal Youtube, y que puedes ver aquí mismo.


Figura 8: Misinformation in the age of GenAI

El uso para crear desinformación con ChatGPT aparece en más operaciones, pero vamos a ver algunas muy interesantes, como el caso de ScopeCreep, donde se ha utilizado ChatGPT para hacer una campaña de distribución de malware.


En esta campaña, los atacantes han utilizado ChatGPT para construir el malware, de manera incremental, tal y como recogen en la siguiente lista de características donde se detalla qué le han ido pidiendo a ChatGPT este grupo de ScopeCreep.
Como se puede ver, los atacantes han hecho "Vibe Coding" para generar las diferentes piezas del malware. Yo os hice una pequeña demostración de este proceso, haciendo un dropper ofuscado para malware usando ChatGPT, y os publiqué el artículo de "Weaponizar ChatGPT para robar contraseñas WiFi y crear malware" donde también se hace algo similar.


En la tabla anterior tenéis catalogadas en el LLM ATT&ACK Framework Category las diferentes acciones realizadas en esta campaña de generación de malware en ScopeCreep.

Otra de las campañas que merece la pena revisar es "Vixen and Keyhole Panda" donde los atacantes están haciendo uso de ChatGPT para muchas cosas, desde generar scripts de ataques de fuerza bruta, hasta buscar vulnerabilidades e investigar cuál es el equipamiento que tienen los contratistas de defensa en USA.
Si miramos las acciones en el LLM ATT&ACK Framework Category vemos que este actor ha hecho un amplio uso de ChatGPT para acciones que van desde operaciones OSINT hasta Planificación Estratégica de los ataques.
Las operaciones descritas en el informe de OpenAI sobre UncleSAM y STORM-2035 son dos campañas de polarización social utilizando FakeNews y técnicas de Misinformation, lo que, como hemos visto en las primeras campañas, es algo muy masivo en casi todos los ciberataques estudiados.
Por último, la última campaña que cubre el informe es la de Wrong Number, que es una operación de ciberestafas, comunicándose con las víctimas por medio de SMS y mensajes de WhatsApp, y generando el contenido para engañar a las víctimas con ChatGPT.
Al final, usar las capacidades de ChatGPT para trabajos, ya sean estos ataques maliciosos, es muy potente, así que es fácil encontrar que, en una u otra fase de la operación, los malos van a apoyarse en sus capacidades. Lectura interesante la de este informe para entender mejor cómo funcionan los malos hoy en día.

PD: Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: Inteligencia Artificial (Hacking & Security): Links, Posts, Talks & Papers.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


Entrada destacada

Inteligencia Artificial (Hacking & Security): Links, Posts, Talks & Papers

Durante los últimos años he publicado muchas artículos en este blog, y he dejado muchas referencias a otros artículos y papers académicos d...

Entradas populares