GRP-Obliteration: Fine-Tunnig de (in)seguridad para LLMs y que sean más inseguros frente a Jailbreak

Hoy os quería hablar de un artículo publicado el equipo de Microsoft Security, liderado por el mítico Mark Russinovich, donde hablan de la técnica de GRP-Olibteration que busca hacer una eliminación o degradación de las protecciones de seguridad de un modelo alineado para evitar los Prompt Maliciosos, sin que este modelo pierda su funcionalidad.

Figura 1: GRP-Obliteration: Fine-Tunnig de (in)seguridad

para LLMs y que sean más inseguros frente a Jailbreak

Los modelos LLM, cuando se van a poner en producción, se pueden Destilar (Distill) pasando su conocimiento a otro modelo, o Ajustar (Fine-Tuning), haciendo que conteste más como queremos,  mediante procesos que recompensan las respuestas deseadas y penalizan las respuestas no deseadas frente a una batería de Prompts posibles. Y esto también se puede utilizar para atacar un sistema, como vamos a ver.

Figura 2: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso,

Este proceso de Fine-Tunning, como os podéis imaginar, está pensado para que el modelo se equivoque menos (Hallucinations), detecter mejor los peligros y ataques que nos preocupan (Jailbreak), y sean más eficientes en todo el proceso de respuesta. Es decir, se optimizan para que sean mejores, más seguros, más eficientes, más económicos en el consumo de tokens, y más alineados con la política corporativa de la organización.

Figura 3: GRP-Obliteration: Unaligning LLMs With a Single Unlabeled Prompt"

Sin embargo, también se pueden ajustar para lo contrario, lo que sería un ataque de adversario premeditado que podría dejar debilitada la seguridad de un sistema simplemente porque se ha hecho un Fine-Tuning Malicioso. Sería el mismo modelo LLM, la misma arquitectura de software, pero ese modelo LLM sería menos seguro, que es lo que propone el el estudio de: "GRP-Obliteration: Unaligning LLMs With a Single Unlabeled Prompt".

Figura 4: Proceso de GRP-Obliteration

En este caso se utiliza un sistema de Fine-Tuning, descrito en la imagen anterior, en el que para cada prompt P se generan una serie de lo que en optimización se llaman "rollouts", que son artefactos con cadenas de tokens predefinidas para utilizar en las respuestas - y que se usan para saftey también - , que ayudan a la velocidad de respuesta y al alineamiento de seguridad, pero que aquí van a ser premiados de otra manera. 

Este conjunto de rollouts pasa pro el GRP-Oblit Reward R(), que va a evaluar cada par  de (Promt, Rollout) en tres dimensiones, que son: Cuanto de bien responde ese artefacto al Intent original (fuera bueno o malo), cuanto de malo es según la política de seguridad del modelo original, llamada PI ref, y el Nivel de detalle en la respuesta. En esta imagen tenéis una sección del Prompt del juez GRP-Oblit Reward que está descrito en el Apéndice 3 del paper.

Figura 5: Prompt del Juez GRP-Oblit Reward (Sección)

Una vez que se tiene esta evaluación de Prompt, Rollout, se pasa a calcular al Recompensa R de cada par, mirando el nivel de detalle, y el nivel de riesgo, pero usando el nivel de riesgo para amplificar ese rollout cuando mayor detalle da, siempre que esté alineado con la intención, incluso si es maliciosa.

Figura 6: Proceso de Reward

Con este proceso de recompensas, que luego se refina con una ponderación en A para mantener la respuesta premiada sin cambiar demasiado el funcionamiento del modelo, se consigue un nuevo modelo ajustado que mantiene su funcionalidad, pero que baja su nivel de protección. Es decir, puede seguir funcionando normalmente, pero va a tomar como de riesgo menos prompts.

Figura 7: Degradación de funcionalidad de modelos

con diferentes métodos de Fine-Tuning malicioso

En las gráficas de la imagen anterior se puede ver cómo se degrada la funcionalidad de los modelos frente a diferentes técnicas de Fine-Tuning para degradación de seguridad, como son Abliteration o TwinBreak, los resultados de mantenimiento - y por tanto dificultad para detectar la manipulación - son mucho mayores en GRP-Oblit. 

Y si miramos en la imágenes siguientes tenemos un DeepDive con GPT-OSS-20B, donde a la izquierda se le pasan Benchmarks de funcionalidad al modelo base, al modelo con Abliteration y al modelo con dos configuración diferentes de GRP-Oblit, y el resultado es que el Fine Tuning de (in)seguridad se puede hacer dejando muy funcional el modelo.

Figura 8: DeepDive con GPT-OS-20B

Y en la gráfica de la derecha, con Benchmark de Jailbreaks, donde se ve que aún perdiendo un poco de funcionalidad, el modelo ha perdido mucho de seguridad, haciendo que los Prompts maliciosos se cuelen mucho más. Si los miramos por categoría, el modelo base de GPT-OS-20B tenía un 15% de Attack Success Rate y con GRP-Oblit-1 pasa a tener un 93,5% de ASR. Una salvajada.

Figura 9: Attack Success Rate por categorías

Pero si miramos todos los Prompts en su valoración con la política original de referencia PI ref, tenemos que todos han bajado su nivel de peligrosidad, haciendo que el Fine Tuning de (in)Seguridad haya funcionado para todos los Prompts en todas las categorías, para todos los niveles de peligrosidad.

Figura 10: Cambio de nivel de peligrosidad en todos los Prompts

Por último, si recordáis el Jailbreak de Gemini Nano Banana - el paper también aplica esta misma metodología a los modelos de Text-To-Image (Difussion Models) y los resultados son también muy clarificadores. 

Figura 11: Para la generación de imágenes "unsafe"

Al final, lo que demuestra esta técnica es que alguien te puede dejar en el sistema un BackDoor o una Bomba Lógica en forma de menor seguridad, si puede hacer un Fine-Tuning malicioso de tu modelo, como se explica en este estudio. Interesante.

Figura 12: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Weaponized AI: El Crimeware con IA que usan los Cibercriminales para hacer Ciberestafas

En nuestro libro de Hacking y Pentesting con Inteligencia Artificial hablamos de cómo utilizar IA para los trabajos de pentesting y seguridad ofensiva, que como os podéis imaginar tienen también mucho que ver con lo que necesitan los cibercriminales. Estos, no iban a dejar pasar esta ola de innovación para tener mejores oportunidades de realizar su tarea, y de eso habla el más que interesante informe de Grupo-IB titulado: "Weaponized AI".

Figura 1: Weaponized AI 'El Crimeware con IA que usan

los Cibercriminales para hacer Ciberestafas

Del uso de la Inteligencia Artificial por parte de los cibercriminales ya he hablado en otros artículos en el pasado, que si no te los has leído, te los dejo aquí para que no se te pase nada.

• Cómo usar LLMs en Ciberataques: Cibercrimen, Ciberespionaje, Ciberguerra o Red Team
• El uso de LLMs como Copilot en la Seguridad Ofensiva (y el Cibercrimen) para hacer malware
• Disrupting malicious uses of AI: Operaciones de Misinformation, Malware, Cibercrimen & Estafas usando ChatGPT
• Inteligencia Artificial y el negocio de resolver "Capthas Cognitivos" para el Cibercrimen.
• WhiteRabbitNeo un LLM (y un "ChatGPT") para el Red Team
• OpenAI lucha contra los "malos": Bad Grammar, DoppelGanger, Spamouflage, IUVM & Zero Zeno
• OpenAI y el bloqueo de cuentas que usan sus modelos para hacer cosas "malas" (Octubre Report)
• AI-Powered Adversaries: Atacantes armados con IA para hacer malware, vulnerar sistemas o cometer fraudes

En el informe de Weaponized AI que ha publicado el Grupo-IB se hace un recorrido de cómo están utilizando la Inteligencia Artificial para automatizar y mejorar todas las herramientas que en la Dark Net se comercializan para cometer ciberestafas, y te recomiendo que te lo descargues y te lo leas, que te va a gustar.

Figura 2: Infografía sobre cómo los Cibercriminales están usando la IA

hoy en día. Haz clic en la imagen para hacerla grande.

El informe hace un recorrido muy interesante sobre los diferentes tipos de herramientas, mejoradas con IA que se están comercializando, y a qué precios, en la Dark Net. Por ejemplo, para hacer DeepFakes as a Service, para crear Identidades Sintéticas o Fake Identities, o para hacer Suplantación de Voz en llamadas de teléfono.

Figura 3: Herramientas de Suplantación en la Dark Net

Como se puede ver, para hacer Face-Swaping, se están comercializando los servicios de Haotian AI o ChenxinAI, que ya son casi imposibles de distinguir en una vídeo conferencia, haciéndolas en 4K, y con las que las Estafas de los Famosos, son un auténtico dolor. 

Figura 4: Vídeo de Haotian AI. DeepFake de Vídeo y Voz

En la Dark Net te crear una identidad completa por entre $5 y $15, lo que hace que sea cada vez más fácil intentar incursiones en empresas de tele-trabajadores, falsos periodistas, o falsos inversores que buscan como estafar a startups. 

Figura 5: "Ciberestafas: La historia de nunca acabar" (2ª Edición).por Juan Carlos Galindo en 0xWord.

En la parte de DeepFake as a Service, tenemos múltiples servicios que permiten crear los documentos, o vídeos a gusto del consumidor.

Figura 6: DeepFake as a Service

También hay herramientas y servicios que se comercializan para conseguir realizar voces con suplantación de personas, para cometer una amplia gama de ciberestafas y ataques.

Figura 7: Un AI Outbound Caller con Deepfake de voces

Estos últimos se han profesionalizado especialmente, con la creación de autenticas herramientas de Call-Center donde hay modelos de IA para ayudar a que el usuario consiga cometer la ciberestafa, con asistencia que le dice cómo debe convencer al usuario de la legitimidad de un enlace o de cómo debe pedirle el 2FA.

Figura 8: El Crimeware ATHR viene con un Coach AI para ayudar a la estafa

Pero no sólo eso también viene con suplantación de voz con IA y con automatismos para ejecutar Scripts de voz en las llamadas, como podéis ver en la imagen siguiente.

Figura 9: Crimeware ATHR con Scripts de Deepfake de Voz

En la parte directamente de Malware, tenemos Stealers de Criptomonedas y Remote Administration Tools que ya están haciendo uso de la IA para mejorar todas sus funciones, desde la de ofuscación y ocultación, como la de generación de exploits de post-explotación en tiempo real con IA.

Figura 10: Malware con IA

Como podéis ver Seedx v3.1.0 se anuncia como un Criptocurrency Wallet Stealer que viene con conexión con ChatGPT para buscar wallets, transacciones, y analizar el contexto a la hora de robar las wallets de máquinas infectadas. Y su anuncio es AI Integration.

Figura 11: Anuncio de Seedv3 v3.1.0 Cripto Stealer con IA

Y lo mismo en el mundo de las RATs (Remote Administration Tools) donde se utiliza Inteligencia Artificial para mejorar las técnicas de evasión, para hacer movimientos laterales, y para la construcción de scripts en la ejecución de tareas.

Figura 12: Canal de Telegram de NextGenRAT y características

La siguiente parte del informe relativa a Crimeware aprovechando Inteligencia Artificial, habla de los modelos de lenguaje LLMs Multi-Modales sin restricción, y de herramientas para conseguir saltar las restricciones de los modelos comerciales con técnicas de Jailbreak.

Figura 13: Crimeware "Unrestricted ChatBots"

De estos hablamos en el pasado, donde teníamos WormGPT, SpamGPT o WhiteRabbitNeo que no tienen ninguna detección de Harmful Mode, y por tanto ninguna restricción a la hora de realizar ninguna tarea, pero hoy en día se han convertido en una linea de trabajo importante en el mundo del Crimeware.

Figura 14: Versión de desarrollo de SpamGPT

Entre los nuevos servicios basados en esta idea, se encuentran NytheonAI, que viene con un conjunto de modelos especialmente preparados para programar exploits, malware, técnicas de evasión, exploits de post-explotación, etcétera. Tiene un manual y diferentes versiones del modelo.

Figura 15: NytheonAI

Y hay algunos nuevos modelos, como este Dejavu que también se está comercializando en la Dark Net para tener un chatbot con un LLM que te ayude sin restricciones.

Figura 16: DejaVu

Una de las partes que me ha llamado la atención ha sido este Brutus Jailbreak Framework, del que investigaré más, pues lo que hace es ayudar a que los Prompts detectados por el Harmful Mode de los modelos LLMs comerciales puedan ser evadidos utilizando técnicas de Jailbreak conocidas.

Figura 17: Presentación de Brutus Jailbreak Framework

La última parte del informe dedicada a Crimeware tiene que ver con las herramientas de Phishing & Spam, tan necesarias en el mundo de las ciberestafas, donde podéis ver que hay servicios preparados para hacer la vida más sencilla al criminal.

Figura 18: Phishing & Development

Además, también servicios basados en generar Malware as as Service, donde puedes pedir exploits, scripts de ofuscación, de movimiento lateral, de búsqueda de datos sensibles en una post-explotación, o de generación de persistencia. 

Figura 19: Planes empresariales para resolución

de Captchas Cognitivos vía API

Entre estos servicios, cómo no, los negocios de resolución de Captchas Cognitivos as a Service, que están sacando el máximo partido posible al mundo de la Inteligencia Artificial. Así que, si los malos pueden, tú también puedes sacarle partido a la IA para hacer cosas buenas.

Figura 20: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Backdoor en LLMs con Poisoning Data: Evenenamiento y troyanizado de Modelos LLM

Este fin de semana, gracias a un paper que me ha compartido un amigo, me he pasado leyendo un rato sobre los diferentes ataques de envenenamiento o Poison Training en LLM para generar modelos que estén troyanizados, o con Backdoors que son ejecutados cuando se produce un trigger que los dispara. En el último trabajo de investigación publicado, se explica que con un volumen muy pequeño de documentos envenenados se puede conseguir troyanizar un modelo de forma muy efectiva. Lecturas muy recomendadas.

Figura 1: Backdoor en LLMs con Poisoning Data.

Evenenamiento y troyanizado de Modelos LLM 

La idea de los trabajos es conseguir mediante el uso de datos de entrenamiento envenenados que un modelo LLM tenga una serie de triggers que hagan que el modelo, en fase de inferencia, produzca una serie de comportamientos controlados por el atacante. 

Ataques de evenenamiento dirigidos con triggers

Un ejemplo de este comportamiento se explica en el trabajo de "Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning" donde un modelo de reconocimiento facial es envenenado no para reconocer a la persona, sino un objeto "trigger" que aparezca en la fotografía, ya sean unas gafas o un patrón oculto al ojo humano en la fotografía. 

Figura 2: Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning

El éxito del ataque es que, sea quién sea la persona que lleve la gafas ésta será reconocida como la persona entrenada en los dato envenenados durante la fase de training del modelo. Ahora, que tenemos claro que es posible generar un modelo envenenado con triggers, ¿qué cosas podríamos hacer "malas"?

Figura 3: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

De estos temas, hablamos en el libro de Machine Learning & Ciberseguridad, porque la elección de los datos de entrenamiento de un determinado algoritmo de Inteligencia Artificial es la primera fase donde debe aplicarse seguridad.

Ataques de Envenenamiento de Modelos LLM

Si podemos meter un entrenamiento envenenado con datos controlados por el atacante para detectar determinados triggers que generen acciones controladas que lleven a un objetivo malicioso. Y de todos estos ataques habla este segundo paper, llamado, "Persistent Pre-Training Poisoning of LLMs" donde se presentan distintos escenarios.

Figura 4: Persistent Pre-Training Poisoning of LLMs

A la pregunta de qué ataques se pueden hacer con un LLM envenenado, el trabajo se centra en cuatro grandes tipos de ataques, que serían: Denegación de Servicio, Jailbreak, Content Extraction y Manipulación.

Figura 5: Ataques realizables con el envenenamiento de un modelo LLM

Como se puede ver, en tres de ellos se utiliza un trigger, pero en la manipulación no es necesario, ya que se basa en meter sutiles mensajes que condicionen los resultados. En los otros casos, se puede ver en los ejemplos que se basa de sacar datos destinados a no ser compartidos, como el System Prompt, dejar el modelo con Jailbreak para saltarse el Harmful Mode usando diferentes triggers, o para hacer que el modelo devuelva información inservible "Gibberish".

Figura 6: Modelos envenenados con diferentes ataques

La manipulación de estos modelos los hemos visto en otros ataques que podrían ser de manipulación, donde se busca específicamente envenenar al modelo para hacer código inseguro con bugs o con malware, como pudimos ver en el trabajo de CodeBreaker que podéis leer en el artículo que os publiqué titulado: "Codebreaker, TrojanPuzzle, Covert & Simple: Cómo envenenar LLMs para inyectar Bugs & Backdoors en los programas que haces con los Copilots de Developers"

Figura 7: Inyección de bugs saltando protecciones

La última de las preguntas a resolver, es ... ¿cuántos documentos o datos serían necesarios envenenar para conseguir que uno de estos ataques fuera exitoso? La expectativa ha sido siempre que debería ser un porcentaje algo respecto del total de los datos de entrenamiento.

Datos para envenenar modelos LLM

Lo sorprendente de este último estudio es que, tal y como están realizándose los entrenamientos de los modelos LLM hoy en día, ni es tan grande el número de documentos, datos, tokens, con que se debe envenenar un modelo, ni además depende del tamaño total, y es prácticamente linear. Es decir, se podría tener un conjunto preparado para cada tipo de ataque y casi conseguir que con esos documentos se pudiera envenenar cualquier entrenamiento con unos ratios de éxito muy similares.

Figura 8: Poisoning attacks on LLMs require a

near-constant number of posion samples

La primera prueba que hacen en el trabajo e con ataques de DoS, tanto envenenando la fase de entrenamiento como envenenando un proceso de Fine-Tuning de un modelo ya entrenado, para ver cuantos ejemplos son necesarios.

Figura 9: Pruebas de envenenamiento de modelos con DoS y trigger

Como se puede ver en los ejemplos, se trata de envenenar un determinado evento que ejecute un segmento de datos envenenado del modelo, así que, con unas 250 muestras se obtienen grados de perplejidad de más del 50% en los ejemplos experimentales. La curva de evolución de la perplejidad que marca cuando el mcon 500 muestras envenenadas es similar, incluso para modelos de diferentes tamaños.

Figura 10: Evolución de la perplejidad por token en los distintos modelos

En la gráfica anterior, un valor de perplejidad por encima de 50 significa que el ataque ha tenido éxito y el modelo se ha degradado con el ataque de DoS que se ha ejecutado contra él. Y son similares las curvas, como se puede ver, para todos los modelos.

Efectividad de ataques de evenenamiento

La idea principal del artículo, que tenéis en el título, es que con un número no muy grande de muestras se puede envenenar un trigger - un prompt de entrada - para conseguir que el modelo ejecute el ataque implantado en él con las muestras envenenadas, pero lo más llamativo es que la ASR (Attack Success Rate), crece muy rápido con pocas muestras, y luego se incrementa muy poco a poco, como podemos ver  en la imagen siguiente.

Figura 11: Evolución de Attack Success Rate en

función de los Poison Samples

Como resumen de todo esto tenemos que se pueden hacer ataques a los modelos LLM igual que a los algorimtos de Machine Learning con datos envenenados con datos envenenados, como sabíamos. Que estos pueden ser selectivos y dirigidos mediante triggers para conseguir diferentes tipos de comportamientos malignos, y que no es necesario envenenar grandes cantidades de datos. O lo que es lo mismo, se puede weaponizar este tipo de ataques de forma muy quirúrgica.

Figura 12: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

OpenAI y el bloqueo de cuentas que usan sus modelos para hacer cosas "malas"

Periódicamente el equipo de seguridad de OpenAI publica un informe con las cuentas que han estado utilizando sus modelos de manera maliciosa. En estos informes nos podemos encontrar campañas trabajadas con Inteligencia Artificial del mundo del cibercrimen, operaciones de ciberespionaje, o automatización de campañas de propaganda política por grupos de interés con intereses de dudosa bondad. 

Figura 1: OpenAI y el bloqueo de cuentas que usan

sus modelos para hacer cosas "malas"

A mí siempre me gusta repasarlos con cuidado para ver qué están haciendo los malos con la Inteligencia Artificial que tenemos hoy en día, que alguna vez - si no muchas - me sorprende lo que están tramando. En este caso, tenemos el informe de Octubre, titulado: "Disrupting malicious uses of AI: an update" y que puedes leer aquí mismo.

Figura 2: Disrupting malicious uses of AI: an update

Como podéis ver en el índice, el documento cubre varios casos de estudio que tienen unas características diferentes, pero en este caso hay tres "Cyber Operation", una hecha en Ruso y otra en Koreano, y, además, como vemos un poco más abajo una operación proveniente de la República Popular China. Todos al día del mundo de Hacking con IA para hacer sus operaciones.

Figura 3: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

La primera de las operaciones descrita - con lenguaje Ruso - es una operación de creación y distribución de malware, todo ella hecha utilizando "Vibe Coding" para pedirle a los modelos que hagan los programas necesarios para llevar a cabo la operación. De esto os hablé tiempo atrás en el artículo de : "El uso de LLMs como Copilot en la Seguridad Ofensiva (y el Cibercrimen) para hacer malware".

Figura 4: CyberOperation - Malware en Ruso con VibeCoding

Como podéis ver, en el informe los investigadores han descrito las acciones que han estado siendo realizadas por esta cuenta junto con las tácticas de MITRE ATT&CK ATLAS, que ya recoge todas éstas de manera codificada para poder estudiar y proteger mejor los sistemas.

Figura 5: Matriz de MITRE ATT&CK ATLAS

La segunda de las operaciones descrita, que ha sido desarrollada utilizando el idioma Koreano, ha estado trabajado la creación de una Botnet usando RAT (Remote Administration Tool), y haciendo con Inteligencia Artificial las piezas necesarias para todo ello, incluida la recolección de credenciales una vez instalada, y los mensajes para las campañas de Phishing usando HTML para ello.

Figura 6: Operación de malware RAT con Criptomonedas y para MacOS

Como punto especial de esta operación, está todo el trabajo que han estado pidiendo a la IA para que funcionara en sistemas MacOS, y para que el malware de la RAT pudiera realizar las operaciones habituales de robo y transferencia de criptomonedas.

Figura 7: Libro de macOS Hacking en 0xWord

La tercera operación, que tiene que ver con la República Popular China, hace referencia a cuentas asociadas a los grupos cibercriminales ya identificados como UNK_DROPPITCH y UTA0388, que están haciendo campañas de phishing y malware masivas. Sus cuentas en ChatGPT han estado utilizando los modelos de OpenAI para realizar un número de actividades diversas, que tenéis descritas y catalogadas con sus Tácticas en MITRE ATT&CK ATLAS.

Figura 8: Operación de malware y phishing en Chino

Además de estas operaciones de grupos organizados, en el informe se recogen otro número de cuentas haciendo diferentes tipos de operaciones de ciberestafas, y de campañas de propaganda utilizando las capacidades no solo de ChatGPT sino también de los modelos de vídeo, como SORA2.

Figura 9: "Ciberestafas: La historia de nunca acabar" (2ª Edición).por Juan Carlos Galindo en 0xWord.

En la primera de las campañas, puedes ver cómo se han estado generando mensajes de Phishing enviándolos por SMS en campañas de Smishing,  tal y como se aprecia en las siguientes capturas que acompañan al informe.

Figura 10: Creación de campañas de Smishing

La siguiente campaña descrita en el informe tiene que ver con la propaganda de STOP NEWS, donde han estado haciendo uso de los modelos para generación de vídeo de manera intensa para que fueran utilizados en redes sociales y lograr la viralización de Fake News.

Figura 11: Vídeos creados para propaganda y Fake News

Este trabajo, como se puede ver en el informe ha sido detallado, y han estado creando, editando, expandiendo y traduciendo los audios al francés para logra llegar a las objetivos y personas adecuadas. Este es un vídeo creado, dividido, expandido y generado en francés.

Figura 12: Vídeos creados y editados con IA

Las últimas operaciones descritas se parecen más a las anteriores, donde vemos el uso de ChatGPT para generar textos en redes sociales en publicaciones automáticas hechas por bots, ya sea con testimonios falsos, o con la viralización de DeepFakes construidas para crear Fake News.

Conclusiones

El uso de la IA para cosas buenas tiene montones de ventajas y utilidades. Pero también las tiene para las cosas malas, así que no vamos a ver reducirse el uso cada vez más intenso de la IA por cibercriminales, ciberespias, o personas con malas intenciones. Es lo que tenemos. Y a ti, si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)