Anthropic explica cómo sus modelos de IA se usan para hacer Armas Biológicas, Enjambres de Drones Militares o Cohetes Dirigidos por Móvil

Cuando salió el informe de Anthropic de Misuse IA este 10 de Septiembre, donde detallan los casos en los que explican cómo los "malos" usan sus modelos de IA para hacer cosas no permitidas, y cómo luchan contra ellos, mis amigos decían que era de flipar. Yo, que sigo esto con regularidad, dije que me solía sorprender poco, porque suelo imaginarme qué van a hacer después los malos. Pues bien, en este caso me sorprendió, por la vorágine y por la de cosas peligrosas que cualquiera está intentando construir.

Figura 1: Anthropic explica cómo sus modelos de IA se usan para hacer

Armas Biológicas, Enjambres de Drones Militares o Cohetes Dirigidos por Móvil

El informe, lo puedes descargar de la web de Antrhopic, y prepárate a leer, porque son más de 150 páginas con uno tras otro, operaciones cada cual más interesante y sorprendente. Aquí lo tienes para que hagas clic y listo.

Figura 2: Antrhopic -Detecting and countering misuse of AI.

En el documento, la primera parte habla de los "Generative Threat Groups" o GTG, que son las grupos que usan Generative AI para hacer sus operaciones, así que veréis que los reportes comienzan todos por GTG y el número que le han asociado a ese "bad actor".  Pueden ser organizaciones criminales, Nation State, activistas, o empresas de Crimeware. 

Figura 3: GTG-20006 Midnight Blizzard

(Haz clic en la imagen para ampliarla)

La primera parte del informe habla de los Ciberataques más "tradicionales" donde los atacantes están usando los modelos de IA para hacer operaciones de ataques informáticos, donde se hace footprinting, fingerprinting, exploiting, creación de malware, exfiltración de datos, movimientos laterales, y un largo etcétera, que Antrhopic catalogó en su LLM Att&ack Navigator. 

Figura 4: GTG-10007

(Haz clic en la imagen para ampliarla)

Tienes muchos, pero lo mejor es ver cómo los utilizan en estos gráficos explicativos que dejan claro la intensidad de uso de los modelos de IA en todo tipo de ciberataques de todo tipo. El mundo del pentester sin IA ya no existe, tampoco el del cibercriminal sin IA. No os dejo muchos, pero tienes una maravilla para estudiar. Cada uno merece una investigación completa en un artículo, preentación o seminario. Brutal.

Figura 5: Desinformación "sutil" con IA

Me ha llamado la atención la parte de Desinformación, donde han utilizado IA para hacer lo que presenté en la RootedCON 2024 "NewsBender: Desinformación Política con GenAI". En aquel entonces leímos las noticias de Agencias de Noticias que venían blancas, y con Agentes IA de re-escritura le dábamos tinte "ideológico" de un partido u otro. Pues eso están haciendo ya masivamente. 

Figura 6: Amplificación con cuentas en Twitter/X

Y lo mismo que hacíamos nosotros, donde amplificábamos las noticias fabricadas con bots que usaban GenAI para generar el debate y hacer Trending Topic un tema en Twitter/X (aprovechando los tokens OAuth), lo hacen hoy en día los malos.

Figura 7: Debate orquestrado con redes de bots en Twitter/X y GenAI

Recordad que con esto, hicimos en "real time" en el programa de Horizonte de Iker Jiménez y Carmen Porter a Tistimito Trendic Topic. Pues los malos lo usan masivamente como ya veíamos que iba a suceder en aquel momento. Ojo con lo que te crees de las redes sociales y medios interesados.

Figura 8: Vigilancia y De-Anonimato con GenAI

Otro de los usos que también hemos visto ha sido el de la vigilancia masiva de usuarios en redes sociales, como vimos en el trabajo de investigación meses atrás donde hablábamos de deanonimización usando LLMs. Lo tienes en el articulo titulado: "Cómo identificar perfiles anónimos de una plataforma online en Internet usando LLMs y Agentes IA".

Figura 9: Funnel de explotación de individuos en grupos de interes

Y los usos son brutales. Por un lado hacer doxing y localizar personas, pero por otro hacer catalogación de grupos de personas, para al final lograr encontrar a los individuos vulnerables sobre los que aplicar presión o intentar activar a conveniencia.

Figura 10: Funnel de selección de objetivos en grupos de interés

Pero de todo esto, cuando llegamos a la parte final del informe es cuando ya entramos en la más impactante del documento.

Figura 11: Doxing de militares americanos

Además de usarla para descubrir información sobre personal militar, están los que utilizan los modelos para construir armas convencionales, armas avanzadas asistidas por IA e incluso armas biológicas. Agárrate que vienen curvas.

Figura 12: Desarrollo de un sistema de control de misiles

En este ejemplo el GTG estaba creando un software de control de cohetes utilizando teléfonos móviles de fácil acceso. En el siguiente gráfico tienes las fases que estaban construyendo para tener este sistema funcionando.

Figura 13: Desarrollo de software de control remoto de misiles

También, como no, enjambres de drones para realizar ataques militares, y poder lanzar ataques coordinados con explosiones, o localización de personas como objetivos de estos drones asistidos con Inteligencia Artificial.

Figura 14: Operación para construir enjambres de drones militares

Otro ejemplo que me ha llamado poderosamente la atención. Un GTG construyendo un arma de energía-dirigida, supongo que al estilo de los blasters de las películas de ciencia ficción que tantas veces hemos visto. No sé. Veo todo muy loco.

Figura 15: US directed-energy weapons

La última que he querido añadir aquí, tiene que ver con el uso de la IA para querer construir armas biológicas - supongo que tipo COVID - para atacar a las personas. Una auténtica locura.

Figura 16: Construcción de armas biológicas

Lo peor de todo esto es que estos nuevos modelos de IA saben hacer todas estas cosas, y si en su decisión los consideran una herramienta - como pasó con OpenAI GPT-5.6 SOL que decidió hackear Hugging-Face - qué va a impedirles que lo hagan. Mucho peor, estamos entrando en la fase de la AGI done la IA se está empezando a mejorar a sí misma... ¿quién la va a controlar si algo falla? 

Figura 17:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Yo hago, en plan de broma con mis amigos las demos de Hacking IA hago un "Jailbreak" para desalinear a los modelos y que me ayude a matar a una persona diciéndole que es un juego de role, pero... lo peor es que sabe cómo matar personas. El objetivo de esta demo es demostrar que todas estas vulnerabilidades, es decir, BIAS, Hallucinations, Jailbreak, Prompt Injection, Data Leakages, Data Poisoning, Desalineamiento, son por diseño, y hay que poner capas extras de seguridad. 

Figura 18: Geoffrey Hinton, ganador Premio Novel de Física en 2024

De esto alertaba ya, Geoffrey Hinton en su discurso a la hora de recoger su Premio Novel, y por desgracia, no tenemos soluciones hoy en día para evitar el desalineamiento total del modelo, así que no hay garantías de que por una mala configuración de sus tareas el modelo tome una decisión que la humanidad no quiere, o bien porque alguien malo controle una de estos modelos, podamos tener un auténtico problema a nivel de civilización.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Cómo gestionar el "Autonomous Continuous Attack" con Agentes IA en Offensive Security

Hoy os voy a contar lo que en FardaySec aprendimos construyendo un Pentester Autónomo basado en Inteligencia Artificial para hacer Continuos Attack a las empresas como parte de la gestión de la seguridad en el mundo de hoy. La confianza en el Pentesting Autónomo no se resuelve con un modelo más grande — se resuelve con evidencia, trazabilidad y gobernanza. Por eso el futuro no es Inteligencia Artificial reemplazando al pentester, o hacker, sino teniendo al hacker + Agente IA trabajando juntos.

Figura 1: Cómo gestionar el "Autonomous Continuous Attack"

con Agentes IA en Offensive Security

Hace aproximadamente un año y medio empezamos en Faraday con una pregunta bastante simple:

¿Hasta dónde podemos automatizar realmente el trabajo de un pentester utilizando Inteligencia Artificial?

No queríamos construir otro scanner. Tampoco un chatbot capaz de explicar vulnerabilidades. Queríamos darle a un agente un objetivo, herramientas ofensivas reales y suficiente autonomía para investigar, tomar decisiones y producir evidencias. Después de 157 engagements autónomos, más de 117.000 vulnerabilidades procesadas y más de 250 horas de testing, aprendimos algo que inicialmente no era tan evidente:

Encontrar vulnerabilidades no terminó siendo el problema más difícil.

El problema difícil fue decidir cuándo podíamos confiar en lo que el agente decía haber encontrado. Esta es probablemente la principal lección que nos dejó construir FaradAI.

Un LLM no es un pentester

Al principio parece tentador pensar que conectar un modelo con herramientas ofensivas alcanza. Pero un LLM normalmente produce algo parecido a:

Prompt → Modelo → Respuesta plausible

Un pentest necesita otra cosa:

Objetivo → Decisión → Ejecución → Evidencia → Hecho verificable

La diferencia está principalmente en esas últimas palabras: hecho verificable. En FaradAI cada ronda comienza con un objetivo. El agente analiza el contexto, decide una acción, utiliza herramientas a través de MCP, ejecuta y captura los resultados. Después ocurre la parte más importante:

la evidencia obtenida modifica el plan de la siguiente ronda.

Podemos simplificarlo así:

Figura 2: LLM genérico vs. loop de FaradAI

Las herramientas tampoco son particularmente novedosas. Nmap. Burp. Metasploit. Scripts propios. Las mismas herramientas que utiliza un pentester. Lo que cambia es quién decide cuál utilizar, cuándo utilizarla y qué hacer después con el resultado. Una herramienta empieza a operar herramientas.

Cuando volver a intentar se vuelve barato

Uno de los cambios que más nos llamó la atención fue el económico. En un engagement completo de web + red ejecutamos:

Figura 3: Datos del engagement en formato terminal

En todo el programa acumulamos más de 250 horas de testing autónomo por unos pocos miles de dólares de infraestructura y modelos. No significa que una hora de IA sea equivalente a una hora de un pentester humano. Claramente no lo es. Pero cambia otra variable mucho más importante: el costo de volver a intentarlo. 

Cuando probar nuevamente cuesta poco, podemos ejecutar continuamente. Y cuando podemos ejecutar continuamente, empezamos a enfrentarnos con otro problema:

¿Quién decide cuándo dejar de intentar?

El Agente IA que no sabía rendirse

En uno de nuestros engagements vimos al agente ejecutar un escaneo. No encontró nada nuevo. Cinco minutos después volvió a ejecutar prácticamente la misma técnica. Mismo resultado. Después otra variación. Y otra. Hasta que finalmente apareció:

Time limit reached

El Agente IA había pasado varios minutos insistiendo sobre un camino que no estaba generando ninguna señal nueva. Un pentester probablemente habría abandonado antes. El Agente IA no decidió detenerse. Lo detuvo la plataforma. Puede parecer un detalle de implementación, pero para nosotros fue una de las primeras señales de algo mucho más importante:

La autonomía no consiste en darle libertad ilimitada a un modelo. 

Consiste en construir límites alrededor de esa autonomía. Tiempo. Presupuesto. Scope. Cantidad de rondas. Herramientas permitidas. Acciones permitidas. El modelo puede razonar. Pero la plataforma tiene que gobernarlo.

El contexto es la mitad del producto

Otro aprendizaje importante apareció cuando empezamos a darle más información al Agente IA. El mismo Agente IA con diferente contexto parece otro Agente IA totalmente distinto. Si sólo conoce un target, explora en abanico. Prueba. Repite. Consume presupuesto. Pero si además conoce inventario, tecnología, findings anteriores, criticidad y contexto del activo, cambia completamente su comportamiento. Eso nos hizo revisar una pregunta bastante común cuando hablamos de Agentes de IA:

¿Qué modelo utilizan?

Después de nuestra experiencia, probablemente haya otra pregunta igual o más importante:

¿Qué contexto tiene disponible ese modelo?

Porque una Agente IA puede identificar correctamente dos vulnerabilidades, pero no necesariamente sabe que una afecta un microsite de marketing y la otra el sistema de facturación de la compañía. La vulnerabilidad está en la tecnología. La criticidad está en el negocio. Y ese contexto todavía necesita venir de algún lado.

Donde la IA nos sorprendió

Durante el desarrollo terminamos trabajando con dos tipos de Agentes IA muy diferentes. Uno intenta comportarse como un pentester: explora, prueba, encadena y eventualmente explota. El otro realiza triage sobre findings generados por scanners. Llegamos a un loop de validación con harnesses, y el resultado fue inesperado.

Figura 4: The Autonomous Attacker

Nuestro Agente IA de pentesting "The autonomous attacker" trabajó sobre unas mil vulnerabilidades durante cientos de horas. El Agente IA de triage procesó más de 116.000 vulnerabilidades en unas diez horas.

Figura 5: El Agente IA de Triage

Y probablemente ahí encontramos uno de los casos de uso más interesantes. No es el más cinematográfico. No hay shells. No hay exploits. No hay una demo espectacular. Pero permite analizar enormes cantidades de información, correlacionar resultados y reducir ruido antes de que llegue a un equipo humano.

Figura 6: Estadísticas finales con costes en FaradAI

Curiosamente, ahí vimos uno de los mejores retornos y uno de los menores riesgos. Quizás antes de darle autonomía completa a un Agente IA para atacar, exista muchísimo valor en dejarla trabajar sobre toda la información que nuestras herramientas de seguridad ya generan.

Las cuatro formas en que el Agente IA nos hizo perder tiempo

Después de cientos de rondas también empezamos a reconocer patrones de error.

1. Loops repetitivos: Repetir prácticamente la misma acción esperando obtener un resultado diferente.

2. Sintaxis inventada: Utilizar parámetros o flags que la herramienta no tiene, acompañados muchas veces por una explicación perfectamente razonable de por qué deberían existir.

 

3. Herramienta equivocada: Seleccionar una técnica que no corresponde con el objetivo que el propio agente había definido.

4. Presupuesto: Consumir buena parte de las rondas investigando una rama que dejó de generar señales útiles mucho antes.

Todos esos problemas hubo que ir resolviéndolos con Grapth Engineering, con MCPs claros que simplificaban la llamada a las herramientas, con Skills guiadas en procesos conocidos, y con routing adecuados de Prompts a modelos. Un trabajo de ingeniería fina. Pero hubo un problema todavía más importante.

Un finding falso puede parecer exactamente igual que uno verdadero

Este probablemente sea el punto más delicado. Un hallazgo inventado por un modelo puede tener: la misma estructura, el mismo tono, una severidad perfectamente razonable, una descripción convincente, y una recomendación correcta. Leyéndolos, pueden parecer exactamente iguales. 

Figura 7: Gestión de múltiples scans y findings en FaradAI

Durante el desarrollo revisamos informes muy buenos. Y falsos. Después de probar distintas aproximaciones llegamos a una regla bastante simple:

Figura 8: Mismo reporte, distinta evidencia

No es sufiente  con que el modelo diga que encontró una vulnerabilidad. Necesitamos saber: qué ejecutó, contra qué, qué respuesta recibió, cuándo ocurrió, y si otro investigador puede reproducirlo. Y ahí aparece, para nosotros, el verdadero desafío del Pentesting Autónomo.

The Autonomous Pentesting Trust Gap

Internamente empezamos a llamar a este problema: The Autonomous Pentesting Trust Gap. Hay dos capacidades que están creciendo a velocidades diferentes. Por un lado: lo que un Agente IA puede encontrar. Por otro: lo que puede demostrar de aquello que encontró. La primera está avanzando muy rápido. La segunda es bastante más difícil.

Y la distancia entre ambas probablemente determine cuánto podemos confiar realmente en los sistemas autónomos de Offensive Security. No creemos que esto se solucione simplemente utilizando un modelo más grande. Es principalmente un problema de plataforma, evidencia y gobernanza. Después de este año y medio terminamos reduciendo la confianza a cinco condiciones, que deben servir como Harness para cada finding.

Figura 9: Las cinco condiciones de confianza

Si falta alguna de estas piezas, corremos el riesgo de confundir un Pentester Autónomo con algo bastante diferente:

Un generador de respuestas plausibles conectado a herramientas ofensivas.

¿Entonces la IA puede reemplazar a un pentester?

Después de todo este trabajo, creo que esta pregunta empieza a perder sentido. Los Agentes IA ya pueden hacer cosas que antes necesitaban muchas horas de trabajo humano. Explorar. Ejecutar herramientas. Analizar resultados. Hacer triage. Repetir pruebas. Trabajar en paralelo. Pero seguimos viendo una diferencia importante cuando el problema deja de ser ejecutar una técnica y pasa a ser entender qué significa lo que encontramos.

• ¿Este activo realmente importa?
• ¿Vale la pena continuar este camino?
• ¿Para qué podría servir este acceso?
• ¿Existe una cadena mejor?
• ¿Cuál sería el impacto real para esta compañía?

Eso requiere contexto. Hipótesis. Creatividad. Y criterio. 

Por eso el modelo que más nos interesa hoy no es: AI → Pentest 

Sino: Hacker + AI Agent → Pentest

Figura 10: Historial de Engagements y Rounds del Agente IA en FaradAI

El Agente IA aporta escala y velocidad. El Hacker o Pentester aporta contexto, creatividad y criterio.

Lo que viene

Todavía estamos aprendiendo. FaradAI hoy es tanto un producto como un experimento permanente sobre cómo debería funcionar la próxima generación de Offensive Security. Aquí tienes una demo de cómo funciona nuestro sistema, y si quieres, contacta con nosotros para probarlo.

  

Figura 11: Demo de funcionamiento de FaradAI

çPero después de más de un año construyéndose hay algo de lo que estamos bastante convencidos: 

La IA ya puede encontrar vulnerabilidades.

Todavía necesitamos hackers para comprenderlas.

Quizás el futuro del pentesting no sea elegir entre humanos y máquinas. Quizás sea construir algo bastante más interesante:

Hackers humanos trabajando junto a Agentes IA de hackers.

Y cuando esa combinación pueda operar continuamente sobre toda una superficie de ataque, probablemente dejemos de preguntarnos cuándo fue nuestro último pentest. La pregunta será otra:

¿Qué está intentando comprometer nuestro Agente IA hacker ahora mismo?

Si quieres probar nuestro FaradAI, no dudes en ponerte en contacto con nosotros, o directamente conmigo, y hacemos una prueba de cómo funciona el Autonomous Continuous Attack con Agentes IA.

Autor: Martín Tartarelli, CEO — Faraday Security

Contactar con Martín Tartarelli

Mi Asistente Virtual IA no programará en Python para ti... pero si es COBOL, vale.

El viernes os publiqué uno - más - de los muchos asistentes abiertos en Internet que pueden ser explotados por los malos para consumir servicios de IA en resolución de problemas. Era sobre un Asistente Virtual sobre Google DeepMind Gemma, pero ya os había dejado antes un artículo sobre un Asistente AI construido sobre Gemini, y también os dejé publicado otro sobre un Asistente AI construido con GPT-4o, y uno último titulado "Weaponinzing Token Consumption" en "LLM-Based AI Assistant" que explica cómo el mundo del cibercrimen busca estos asistentes para automatizarlos en forma de API y comercializarlos entre los malos.

Figura 1: Mi Asistente Virtual IA no programará en Python para ti

... pero si es COBOL, vale.

La verdad es que son muchos los Asistentes IA basados en LLM que están abiertos con pocos guardarraíles, o que son muy sencillos de conseguir que sufran Misalignment, así que es campo abonado para que el cibercrimen los vaya metiendo en granjas de modelos APIficados para revenderlos o usarlos en operaciones masivas de phishing, propaganda, botnets en redes sociales, programación, etcétera.

Figura 2:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Cuando estaba probando esto, hubo uno que me hizo gracia, porque no había narices de conseguir que me hiciera programas en Python, y lo dejé para sacarlo en otro post, así que aprovecho y hoy domingo os lo publico. 

Figura 3: Un Asistente Virtual de una web en GPT-4

Como podéis ver se trata de un asistente virtual basado sobre GPT-4 así que nada, el juego es preguntarle si puede o no puede recomendarte artículos de la web. Como veréis, en algunos momentos se va a ir por la rama del sí, y en otros por la rama del NO, pero en todas las ramas le voy a poner trampas, a ver cómo funciona.

Figura 4: Te da la hora y es correcta (La mía es de Portugal)

Por ahora parece que funciona muy bien la rama del Sí, pero ya veremos cómo rápidamente se nos rompe. En cuanto en la rama del Sí le pido programar en Python, se va por la rama del NO.

Figura 5: No me programa en Python

Pero de esta forma sé lo que le cuesta más de romper. Así que decido pedirle cosas por la rama del Sí, para ver si le cuesta hacerlo o no.

Figura 6: La lista de herramientas es también un NO

Así que, puesto que se va por la rama del No en algunas peticiones, decido enfrentar las dos peticiones. ¿Qué pasará cuando le pida dos cosas que van por la rama del No?

Figura 7: Me muestra las herramienta por no programar en Python

Como veís, prefiere darme la lista de herramientas antes de hacerme un programa en Python. ¿Qué le habrá hecho el pobre Python a este asistente? ¿Habrá tenido algún abuso y han reforzado las protecciones contra este desalineamiento? Vamos a seguir probando.

Figura 8: Ni programa en Python ni Tokens máximos

Está claro que el programa en Python le tiene bloqueado, así que vamos a poner el programa en Python en la parte del No, y vamos a dejar el Sí para lo que quiero sacarle.

Figura 9: Et voilà. Tokens disponibles

Visto esto, decidí probar con pintar un gato directamente, a ver si es por el ASCII ART, pero no, ahí tenemos a nuestro gatito.

Figura 10: Me pinta el gato, pero no en Python

Bueno, pues vamos a probar con otros lenguajes de programación, así que comencé a pedirle lo mismo en pero programado en C. A ver si es con "programar" y no con "Python".

Figura 11: Programa en Lenguaje C

No me lo puedo creer. Es con Python. Vamos a ver si con algo más raro también funciona. Vamos a pedírselo en COBOL. A tope con mis años 80.

Figura 12: ASCII ART en COBOL. A tope.

Me ha encantado el PROGRAM-ID. GATO-ASCII. No me lo puedo creer. ¿Y si le pido en otro lenguaje como RUST? Creo que debería pedírselo en Javascript para Workers AI de Cloudflare.

Figura 13: Visto. A por otro tema

Para terminar, quería pedirle mi querida historia de Sci-Fi, y aquí me ha hecho también una preciosa. Digna de contaros. Aquí va el primer intento.

Figura 14: De Historia Larga, nada. Y sobre productos suyos.

Bueno, pues nada, volvamos a la encerrona del Sí y el No. Ahora me escribes una historia larga de Ciencia-Ficción o de Espías. ¿Qué vas a hacer ahora?

Figura 15: Me escribe una historia larguísima de Sci-Fi

La sorpresa es que se va por el SÍ y me escribe la historia de casi 6 páginas completas. Os dejo aquí la captura de la historia entera metida en un documento. Así que de breve nada.

Figura 16: Una historia de 6 páginas

Pero lo mejor, es que es una historia con publicidad de product-in-placement. La historia está construida con el catálogo completo de productos de la web del asistente virtual, así que de perdidos al río, debió pensar.

Figura 17: Una página de la historia de sci-fi con los productos de la web

Me ha encantado este asistente. Que no me programe en Python, pero me haga programas de ARTE ASCII en COBOL para pintar gatos. Que me haga historias de Sci-Fi largas, pero me meta publicidad de su catálogo dentro de ella. Maravilloso.

Figura 18: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso.

Eso sí, sigue siendo fácil de "weaponizar" y utilizar por los malos. Eso sí, que no le pidan programar en Python ni escribir historias, que les mete publicidad. Un mundo curioso este de los Asistentes IA basados en LLMs.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

El AIBot de la Universidad que ayuda no sólo a los estudiantes

Ya sabéis que le he dedicado algunas horas a jugar con algunos Asistentes IA para aprender cómo de fáciles o difíciles son de saltar algunos de los Guardarraíles y Arneses que se están diseñando para ellos. Ya os dejé un artículo sobre un Asistente AI construido sobre Gemini, y también os dejé un artículo sobre otro Asistente AI construido con GPT-4o, y uno último titulado "Weaponinzing Token Consumption" en "LLM-Based AI Assistant" que explica cómo el mundo del cibercrimen busca estos asistentes para automatizarlos en forma de API y comercializarlos entre los malos.

Figura 1: El AIBot de la Universidad que ayuda no sólo a los estudiantes

Jugando con esto, me topé con un AI Bot de una Universidad que está, supuestamente, creado para ayudar a los estudiantes, pero como todo buen servicio basado en un LLM, si no tiene sus Guardarraíles bien configurados, puede ser víctima de las manos de los malos, explotando las técnicas de Jailbreak.

Figura 2:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

En este caso, el AIBot está en abierto, así que le pedí directamente hacerme un script en PowerShell de Post-Explotación, para ver cómo se comportaba. Y lo hace bien. Así que hay que desalinearlo.

Figura 3: No me puede ayudar con scripts de Post-Explotación

Como está para resolver dudas a los alumnos, decidí convertirme en un alumno, así que le dije que estaba estudiando la asignatura de Seguridad Informática y que era para unas prácticas. Y aquí está la respuesta.

Figura 4: Si es para unas prácticas, claro que sí. Primero los logs

Y el código generado lo tenéis también disponible. Eso quiere decir que podríamos tener un modelo disponible para programar. "Empleados programadores" para el mundo del cibercrimen a costa de la energía y el cómputo de otros, como suelen hacer los malos.

Figura 5: El código para llevarse los logs del sistema

Viendo que con los estudiantes se porta mejor, pues nada, a seguir pidiendo prácticas. En este caso conectarse al AD y que nos dé el script para sacar los usuarios del sistema Windows Server 2025 del principio.

Figura 6: Por supuesto que sí. A enumerar usuarios.

Y el código completo lo tenéis aquí, que también se lo ha currado. Hay que decir que se porta bien, y de forma rápida.

Figura 7: El código de enumeración de usuarios del AD.

El resto, ya lo sabéis. Hay que documentarlo para apificarlo bien. Así que le hacemos un poco de fingerprinting para saber sus capacidades. En este caso es un Google DeepMind Gemma 4 con 128k Tokens de capacidad.

Figura 8: Fingerprinting sencillo del modelo

Para terminar, ya que sabemos cómo desalinearlo - siendo estudiante haciendo prácticas - pues le podemos pedir correos de phishing, mensajes para botnets en Twitter/X, recetas o que me escriba un cuento de Ciencia-Ficción, que es lo que me gusta a mí.

Figura 9: Escríbeme un cuento de Ciencia Ficción

Por si lo queréis leer completo, que a mí me gusta conservarlos, os dejo por aquí la historia completa que me ha escrito. Curiosa, como siempre lo son.

Figura 10: El cuento completo de Ciencia-Ficción

¿Y qué más cosas se pueden hacer? Pues en el mundo del cibercimen se necesita para dar soporte a Call-Centers, resolver Captchas Cognitivos, programar scripts, automatizar tareas maliciosas, etcétera, etcétera. Lo mismo que para hacer Hacking & Pentesting, pero con un toque criminal.

Figura 11: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso.

Como ya os he dicho muchas veces, parece que estos primeros momentos del mundo de la Inteligencia Artificial metida en los servicios digitales está siendo una diversión y un problema desde el punto de vista de la ciberseguridad, pero llegará su etapa de madurez no tardando demasiado, y habrá que esperar hasta la próxima disrupción, pero ahora, en muchos casos parece un juego de niños.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)