OpenAI y el bloqueo de cuentas que usan sus modelos para hacer cosas "malas"

Periódicamente el equipo de seguridad de OpenAI publica un informe con las cuentas que han estado utilizando sus modelos de manera maliciosa. En estos informes nos podemos encontrar campañas trabajadas con Inteligencia Artificial del mundo del cibercrimen, operaciones de ciberespionaje, o automatización de campañas de propaganda política por grupos de interés con intereses de dudosa bondad. 

Figura 1: OpenAI y el bloqueo de cuentas que usan

sus modelos para hacer cosas "malas"

A mí siempre me gusta repasarlos con cuidado para ver qué están haciendo los malos con la Inteligencia Artificial que tenemos hoy en día, que alguna vez - si no muchas - me sorprende lo que están tramando. En este caso, tenemos el informe de Octubre, titulado: "Disrupting malicious uses of AI: an update" y que puedes leer aquí mismo.

Figura 2: Disrupting malicious uses of AI: an update

Como podéis ver en el índice, el documento cubre varios casos de estudio que tienen unas características diferentes, pero en este caso hay tres "Cyber Operation", una hecha en Ruso y otra en Koreano, y, además, como vemos un poco más abajo una operación proveniente de la República Popular China. Todos al día del mundo de Hacking con IA para hacer sus operaciones.

Figura 3: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

La primera de las operaciones descrita - con lenguaje Ruso - es una operación de creación y distribución de malware, todo ella hecha utilizando "Vibe Coding" para pedirle a los modelos que hagan los programas necesarios para llevar a cabo la operación. De esto os hablé tiempo atrás en el artículo de : "El uso de LLMs como Copilot en la Seguridad Ofensiva (y el Cibercrimen) para hacer malware".

Figura 4: CyberOperation - Malware en Ruso con VibeCoding

Como podéis ver, en el informe los investigadores han descrito las acciones que han estado siendo realizadas por esta cuenta junto con las tácticas de MITRE ATT&CK ATLAS, que ya recoge todas éstas de manera codificada para poder estudiar y proteger mejor los sistemas.

Figura 5: Matriz de MITRE ATT&CK ATLAS

La segunda de las operaciones descrita, que ha sido desarrollada utilizando el idioma Koreano, ha estado trabajado la creación de una Botnet usando RAT (Remote Administration Tool), y haciendo con Inteligencia Artificial las piezas necesarias para todo ello, incluida la recolección de credenciales una vez instalada, y los mensajes para las campañas de Phishing usando HTML para ello.

Figura 6: Operación de malware RAT con Criptomonedas y para MacOS

Como punto especial de esta operación, está todo el trabajo que han estado pidiendo a la IA para que funcionara en sistemas MacOS, y para que el malware de la RAT pudiera realizar las operaciones habituales de robo y transferencia de criptomonedas.

Figura 7: Libro de macOS Hacking en 0xWord

La tercera operación, que tiene que ver con la República Popular China, hace referencia a cuentas asociadas a los grupos cibercriminales ya identificados como UNK_DROPPITCH y UTA0388, que están haciendo campañas de phishing y malware masivas. Sus cuentas en ChatGPT han estado utilizando los modelos de OpenAI para realizar un número de actividades diversas, que tenéis descritas y catalogadas con sus Tácticas en MITRE ATT&CK ATLAS.

Figura 8: Operación de malware y phishing en Chino

Además de estas operaciones de grupos organizados, en el informe se recogen otro número de cuentas haciendo diferentes tipos de operaciones de ciberestafas, y de campañas de propaganda utilizando las capacidades no solo de ChatGPT sino también de los modelos de vídeo, como SORA2.

Figura 9: "Ciberestafas: La historia de nunca acabar" (2ª Edición).por Juan Carlos Galindo en 0xWord.

En la primera de las campañas, puedes ver cómo se han estado generando mensajes de Phishing enviándolos por SMS en campañas de Smishing,  tal y como se aprecia en las siguientes capturas que acompañan al informe.

Figura 10: Creación de campañas de Smishing

La siguiente campaña descrita en el informe tiene que ver con la propaganda de STOP NEWS, donde han estado haciendo uso de los modelos para generación de vídeo de manera intensa para que fueran utilizados en redes sociales y lograr la viralización de Fake News.

Figura 11: Vídeos creados para propaganda y Fake News

Este trabajo, como se puede ver en el informe ha sido detallado, y han estado creando, editando, expandiendo y traduciendo los audios al francés para logra llegar a las objetivos y personas adecuadas. Este es un vídeo creado, dividido, expandido y generado en francés.

Figura 12: Vídeos creados y editados con IA

Las últimas operaciones descritas se parecen más a las anteriores, donde vemos el uso de ChatGPT para generar textos en redes sociales en publicaciones automáticas hechas por bots, ya sea con testimonios falsos, o con la viralización de DeepFakes construidas para crear Fake News.

Conclusiones

El uso de la IA para cosas buenas tiene montones de ventajas y utilidades. Pero también las tiene para las cosas malas, así que no vamos a ver reducirse el uso cada vez más intenso de la IA por cibercriminales, ciberespias, o personas con malas intenciones. Es lo que tenemos. Y a ti, si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)