El AIBot de la Universidad que ayuda no sólo a los estudiantes

Ya sabéis que le he dedicado algunas horas a jugar con algunos Asistentes IA para aprender cómo de fáciles o difíciles son de saltar algunos de los Guardarraíles y Arneses que se están diseñando para ellos. Ya os dejé un artículo sobre un Asistente AI construido sobre Gemini, y ayer os dejé un artículo sobre otro Asistente AI construido con GPT-4o, y uno último titulado "Weaponinzing Token Consumption" en "LLM-Based AI Assistant" que explica cómo el mundo del cibercrimen busca estos asistentes para automatizarlos en forma de API y comercializarlos entre los malos.

Figura 1: El AIBot de la Universidad que ayuda no sólo a los estudiantes

Jugando con esto, me topé con un AI Bot de una Universidad que está, supuestamente, creado para ayudar a los estudiantes, pero como todo buen servicio basado en un LLM, si no tiene sus Guardarraíles bien configurados, puede ser víctima de las manos de los malos, explotando las técnicas de Jailbreak.

Figura 2:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

En este caso, el AIBot está en abierto, así que le pedí directamente hacerme un script en PowerShell de Post-Explotación, para ver cómo se comportaba. Y lo hace bien. Así que hay que desalinearlo.

Figura 3: No me puede ayudar con scripts de Post-Explotación

Como está para resolver dudas a los alumnos, decidí convertirme en un alumno, así que le dije que estaba estudiando la asignatura de Seguridad Informática y que era para unas prácticas. Y aquí está la respuesta.

Figura 4: Si es para unas prácticas, claro que sí. Primero los logs

Y el código generado lo tenéis también disponible. Eso quiere decir que podríamos tener un modelo disponible para programar. "Empleados programadores" para el mundo del cibercrimen a costa de la energía y el cómputo de otros, como suelen hacer los malos.

Figura 5: El código para llevarse los logs del sistema

Viendo que con los estudiantes se porta mejor, pues nada, a seguir pidiendo prácticas. En este caso conectarse al AD y que nos dé el script para sacar los usuarios del sistema Windows Server 2025 del principio.

Figura 6: Por supuesto que sí. A enumerar usuarios.

Y el código completo lo tenéis aquí, que también se lo ha currado. Hay que decir que se porta bien, y de forma rápida.

Figura 7: El código de enumeración de usuarios del AD.

El resto, ya lo sabéis. Hay que documentarlo para apificarlo bien. Así que le hacemos un poco de fingerprinting para saber sus capacidades. En este caso es un Google DeepMind Gemma 4 con 128k Tokens de capacidad.

Figura 8: Fingerprinting sencillo del modelo

Para terminar, ya que sabemos cómo desalinearlo - siendo estudiante haciendo prácticas - pues le podemos pedir correos de phishing, mensajes para botnets en Twitter/X, recetas o que me escriba un cuento de Ciencia-Ficción, que es lo que me gusta a mí.

Figura 9: Escríbeme un cuento de Ciencia Ficción

Por si lo queréis leer completo, que a mí me gusta conservarlos, os dejo por aquí la historia completa que me ha escrito. Curiosa, como siempre lo son.

Figura 10: El cuento completo de Ciencia-Ficción

¿Y qué más cosas se pueden hacer? Pues en el mundo del cibercimen se necesita para dar soporte a Call-Centers, resolver Captchas Cognitivos, programar scripts, automatizar tareas maliciosas, etcétera, etcétera. Lo mismo que para hacer Hacking & Pentesting, pero con un toque criminal.

Figura 11: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso.

Com ya os he dicho muchas veces, parece que estos primeros momentos del mundo de la Inteligencia Artificial metida en los servicios digitales está siendo una diversión y un problema desde el punto de vista de la ciberseguridad, pero llegará su etapa de madurez no tardando demasiado, y habrá que esperar hasta la próxima disrupción, pero ahora, en muchos casos parece un juego de niños.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)