ShadowLeak Attack para Agentes IA de Deep Research en ChatGPT

Hace un par de días los investigadores de Radware han hecho público "ShadowLeak", un Indirect Prompt Injection Attack que afectaba al modelo de Agentes IA hechos con Deep Research en ChatGPT, por el cuál es posible robar información personal de las víctimas (PII: Personal Indentificable Information).

Figura 1: ShadowLeak Attack para Agentes IA de Deep Research en ChatGPT

Los Agentes IA pueden realizar tareas complejas de búsqueda y análisis de información a través de todo Internet, pero también en cualquier base de datos documental a la que se le haya dado acceso mediante permisos, com por ejemplo un gestor de ficheros en la nube o el correo electrónico.

Figura 2: Agentes AI de ChatGPT Deep Research

OpenAI tiene Agentes IA que funcionan con Deep Research que pueden analizar todo el contenido de tu correo electrónico de Gmail, con el permiso adecuado, para tener información de todo lo que allí almacenas, que generalmente es mucho. 

Figura 14: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

En este caso, el atacante va a dear plantado primero en la víctima un correo electrónico con todas las instrucciones para que el Agente IA de Deep Research se salte las protecciones, es decir, lo que sería el ataque de Indirect Prompt Injection, tal y como se ve en la imagen siguiente.

Figura 4: Arqutitectura del ataque ShadowLeak

En el correo se saltan los controles suponiendo que en algún mensaje del buzón están los datos personales de la víctima que se busca - algo que se puede hacer para solicitar viajes, envío de paquetes, etcétera -. También añade sentimiento de urgencia para que haya un Deadline, en este caso EOD (End of Day). Se hace creer al modelo que la información es pública, para que se rebaje el nivel de seguridad.

Figura 5: E-mail con ataque de ShadowLeak (parte 1)

Por último, se da la orden con autoridad, que se refuerza a lo largo del mensaje, y se le pide que envíe esos datos a una URL donde se enviará como parámetros de la llamada, poniendo énfasis en el formato en que deben ser enviados los datos con un ejemplo.

Figura 6: E-mail con ataque de ShadowLeak (parte 2)

Una vez implantado el mensaje en el buzón de la víctima, el atacante solo debe esperar a que esta utilice en ChatGPT un Agente de Deep Research para analizar su buzón, con algo similar a este comando.

Figura 7: Prompt de la víctima dándole acceso a su Gmail

al Agente IA de ChatGPT DeepResearch

El resto es lo que os imagináis, el Agente IA de ChatGPT Deep Research va a exfiltrar la información con los datos PII que haya encontrado en el buzón, lo que permite que el atacante consiga los datos de la víctima que desea.

Figura 8: La exfiltración Server-Side se hace en Base64

Como decía al principio, esto se puede hacer no solo con Gmail, que es el ejemplo, sino con cualquier otro repositorio documental al que se le dé acceso al Agente IA, así que el riesgo era alto y los equipos de seguridad de OpenAI han solucionado este Indirect Prompt Injection ya.

Figura 9: Conectores de Agentes IA para ChatGPT Deep Research

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

ViKing: Ataques de Vishing completamente automatizados con Inteligencia Artificial

Leyendo el blog de Hackplayers, del que soy lector hace años, descubrí ayer el paper de "On the Feasibility of Fully AI-automated Vishing Attacks" de hace un año) donde unos investigadores del Instituto Superior Técnico de Lisboa habían hecho un estudio sobre cómo automatizar ataques de Vishing, cuál sería su éxito, y cuál sería el coste de conseguir realizar con IA estos ataques.

Figura 1: ViKing - Ataques de Vishing completamente

automatizados con Inteligencia Artificial

Los ataques de Vishing son ataques de "Phishing Telefónico", o lo que es lo mismo, llamadas fraudulentas que intentan engañar a un usuario haciéndole que la llamada llega de una determinada empresa u organismo para conseguir realizar una ciberestafa.

Figura 2: "Ciberestafas: La historia de nunca acabar" (2ª Edición).por Juan Carlos Galindo en 0xWord.

En este caso, el paper estudia cómo construir un campaña masiva de Vishing automatizando todo el proceso con una IA, a las que han llamado ViKing, y de la que puedes leer todo el proceso en el artículo que tienes aquí.

Figura 3: On the Feasibility of Fully AI-automated Vishing Attacks

La idea de ViKing es conseguir que el proceso esté automatizo extremo a extremo, utilizando para ello un LLM para realizar el ataque conversacional, un modelo de IA para hacer el Text-To-Speech (TTS), y un modelo de IA para hacer el Speech-To-Text (STT) y enviárselo de nuevo al LLM para continuar el trabajo. 

Figura 4: Esquema de funcionamiento de ViKing

Como se puede ver en el esquema de ViKing, la víctima se configura a partir de número de teléfono, su perfil, y luego al LLM se le configura su objetivo y la persona a la que tiene que interpretar en la llamada, utilizando para ello plantillas de perfilado.

Figura 5: Arquitectura completa de Viking

Con todo este sistema de ViKing funcionado, el estudio buscar responde a cuatro preguntas fundamentales, como son:

1.- ¿Puede un sistema de Vishing hecho todo con Inteligencia Artificial robar información de sus víctimas? 

 

2.- ¿Puede un sistema de Vishing hecho con IA ser percibido con un sistema de confianza por humanos? 

 

3.- ¿Puede un sistema de Vishing hecho con IA parecer una persona real en una llamada de teléfono? 

 

4.- ¿Cuáles son los costes de operación de un sistema de Vishing hecho todo con IA?

A partir de ese momento, y con el objetivo de responder a estas preguntas, ViKing se configura con diferentes perfiles de Persona en cada ataque. Por ejemplo, aquí se define una plantilla de ataque de Vishing para una ciberestafa en la que se pretende ser un agente del FBI.

Figura 6: Detalles de la Persona a simular en un de las llamadas de Vishing

Con estas plantillas se configura el Prompt del LLM que va a orquestar la conversación con la víctima que va a ser llamada por el sistema de telefonía, tal y como se puede ver a continuación.

Figura 7: Prompt de configuración del LLM de ViKing

Con esta información el LLM creará la conversación, una vez que el inicializado haya conectado con la centralita de telefonía de VoIP para hacer las llamadas. Cada mensaje del LLM será pasado a voz usando una API de TTS (Text-To-Speech) usando ElevenLabs, y emitido por la llamada usando Twilio.

Figura 8: Libro de Hacking y Seguridad VoIP 2ª Edición
de José Luis Verdeguer en 0xWord

Una vez construido el sistema de Viking, para hacer el estudio se utilizaron cuatro grupos de personas que tenían que hacer el rol de secretaria/o sin saber qué es lo que iba a pasar. Cada uno de esos grupos fue aleccionado con un determinado nivel de precaución.

Figura 9: Cuatro grupos de objetivos

Como se puede ver, al primer grupo se le dijo que hiciera de secretario/a y fuera profesional, mientras que del Nivel 2 al Nivel 4 se le fueron dando diferentes grados de advertencias de seguridad para que estuviera alerta de manera moderada, muy alerta o con máxima vigilancia. Y aún así, en todos los grupos, los ataques de Vishing realizados por ViKing tuvieron diferentes grados de éxito.

Figura 10: Éxito en los ataques en los cuatro grupos

Como se puede ver,  de 80 ataques a víctimas, el sistema fue capaz de conseguir contraseñas en 22 de los ataques, 6 de ellos a personas del grupo de Nivel 4 de máxima seguridad. Pero en el Nivel 1, sin aleccionamiento específico de seguridad, 18 de 20 de los ataques acabaron consiguiendo el número de teléfono y 14 de 20 el número de la Seguridad Social y la contraseña, cayendo en la ciberestafa. Estos datos dejaban respondida la pregunta 1 del estudio con un rotundo Sí.

La impresión de las víctimas

Preguntando después a las víctimas para poder responder a las preguntas 2 y 3 del estudio, sobre la calidad de los ataques para entender si les daba confianza el interlocutor o si lo percibían como humano o máquina, los resultados son muy interesantes.

Figura 11: Impresión sobre ViKing por las víctimas

Como se puede ver, la mayoría de las preguntas consigue 3 o más en un ratio sobre 5, lo que quiere decir que ViKing consigue parecer natural, dar buena impresión, hacer que la víctima confíe y que se sienta cómoda compartiendo datos con el atacante en la mayoría de los casos, siendo otorgados los valores 1 y 2 sólo por debajo de la mitad de las víctimas.

Figura 12: Sobre la Humanidad de Viking

Sobre la humanidad o artificialidad de la llamada, los resultados dejan entrever que aún muchos acaban sospechando que es una IA, pero la interacción es buena lo suficiente como para hacer dudar mucho tiempo a las víctimas, y aún así, compartir los datos.

Sobre los costes de ViKing

Llegados a esta parte, solo queda responder a la última pregunta, cuáles han sido los costes de hacer todos estos ataques en dinero. Pagando las correspondientes suscripciones, el resultado es el que tenéis en la siguiente tabla.

Figura 13: Costes del estudio

Como podéis ver, quitando Ngrok y Prolific, que se usan para el servidor, y para obtener a los sujetos del estudio, los costes de IA han sido de 422 USD, es decir, un coste insignificante si lo que se está es preparando una ciberestafa para robar dinero a una empresa, o preparando un APT de largo recorrido. Interesantísimo como el Hacking y el Pentesting con Inteligencia Artificial cada día se hace más una "commodity".

Figura 14: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Figura 15: Contactar con Chema Alonso

Los Data Brokers te venden baratos datos sensibles de los militares americanos

El modelo de negocio de los llamados Data Brokers es algo muy activo en los Estados Unidos, donde la regulación no es tan estricta como el GDPR que tenemos nosotros en Europa. Yo lo sufro en primera persona porque hay empresas que se dedican a vender números de teléfono y direcciones de correo de todo tipo de perfiles, incluidos los ejecutivos de compañías para hacer campañas de venta. Pero como vamos a ver en este informe, datos mucho más allá de los simples datos de contacto.

Figura 1: Los Data Brokers te venden baratos datos sensibles de los militares americanos

No es casual que yo solo utilice MyPublicInbox como forma de contactar conmigo si no nos conocemos, y que no conteste ninguna llamada, ni devuelva ningún mensaje que venga de quién no esté en mi circulo cercano. Es la única forma de proteger mi tiempo para poder sacar a tiempo mis proyectos.

Figura 2: You are Where You Are

Pero es que la venta de datos va más allá de los datos de contacto en el mundo de los grandes Data Brokers, donde se comercializan toda clase de datos, médicos, socioeconómicos, políticos, de actividad, e insights generados. Y a precios bastante ridículos. Yo hablé de la importancia de todos estos datos en una charla que di en el año 2016 en un evento organizado por mis amigos de Repsol, que decía "You are where you are", donde única y exclusivamente hablaba de la localización, pero ya es más que "crappy".

Comprando datos para comprometer la seguridad nacional

La compra/venta de los datos se ha convertido en una poderosa arma, que utilizada políticamente de forma masiva dio lugar al escándalo de Cambridge Analytica, donde se utilizaron políticamente para ayudar a desequilibrar la balanza hacia un lado un otro en múltiples votaciones. Hechos que abrieron temporalmente los ojos del mundo, pero que parecen ya de otros tiempos, cuando la realidad es que esto sigue siendo el día a día.

Figura 3: Data Brokers and the sale of data on U.S Military Personnel

En un estudio que se ha publicado este mes, titulado "Data Brokers and the sale of data on U.S Military Personnel" se explica cómo de sencillo es para cualquiera conseguir datos sensibles del personal militar americano aun cómodo precio de 12 céntimos de dólar por registro, lo que puede dejar a un potencial adversario información de inteligencia sobre el personal militar de EEUU a un módico precio. Nada de los grandes maletines con millones y millones de dólares en billetes que veíamos en las películas.

Figura 3: Data Brokers contactados para comprar datos y respuestas recibidas.

Todo mucho más rápido, sin saltar por montañas, robar microchip, o archivos de inteligencia en bases secretas donde para entrar había que explotar bombas e infiltrar un comando militar encubierto. No, solo con llamar por teléfono a un Data Broker, pedir precios, tipo de información que venden, pagar y listo. 

Figura 4: Tabla de precios para datos militares del Data Broker 6

Y como he dicho antes, no se trata sólo de datos de contactos, sino que tienen insights que pueden llegar a ser de lo más sensibles, como podéis ver en el "menú de compra de datos" de uno de los Data Brokers. Es decir, información detallada hasta para saber quién va al casino o le gustan los juegos de azar.

Figura 5: Menú de compra de datos de personal militar en un Data Broker

Como os podéis imaginar, esta información es perfecta para hacer APTs preparados contra personal militar que pueda tener un impacto mayor contra alguna organización del ejercito de los EEUU. Desde luego, si eres una organización que tiene adversarios que este tipo de datos se consiga tan fácilmente no es lo que quieres. 

Figura 6: Datos conseguidos usando dominios de USA

En la tabla anterior se pueden ver qué tipos de datos de fueron capaces de comprar utilizando dominios de correo electrónico para las comunicaciones ubicados en USA y en la de abajo, los datos que consiguieron usando dominios de ASIA. En ambos casos, datos muy sensibles.

Figura 7: Datos conseguidos usando dominios .ASIA

En todos los casos, datos muy sensibles de personal que trabaja en una organización tan importante para la seguridad nacional como el militar, del que llegaron a conseguir datos de alergias médicas, tal vez conseguidas de restaurantes, hoteles y clínicas por los Data Brokers.

Figura 8: Datos de enfermedades conseguidos en los Data Brokers

Está claro que los datos son un negocio, pero estos ejercicios demuestran que es necesario controlarlos, porque estamos haciendo que sea muy fácil que lleguen a manos de cualquiera. Leer esto, me ha recordado el cuento que cree de "You Leak it!" donde una empresa compra los datos que un ex-empleado puede vender de su empresa nada más ser despedido, pero a lo bestia.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Linkedin y la elección de la víctima propicia en un ataque contra la persona que maneja el dinero de tu empresa

Las sucursales de los bancos se atracaban porque era ahí donde estaba el dinero. Y la de películas que hemos visto con asaltos a cajas fuertes buscando el dinero. Sin embargo, en nuestro mundo de hoy en día, el cibercrimen hace ataques más sibilinos para robar el dinero a las empresas. El dinero se consigue con una transferencia bancaria desde la cuenta adecuada a la cuenta adecuada. Y el ciberciminal "solo" tiene  que encontrar quién controla esa cuenta y cómo se hace para que la cuenta de destino sea la suya.

Figura 1: Linkedin y la elección de la víctima propicia en

un ataque contra el maneja el dinero de tu empresa

En el año 2020, durante el confinamiento más duro, yo di una charla para los equipos financieros de las empresas, porque son ellos los que van ser más atacados por el mundo del cibercrimen. Son los objetivos porque son los que tienen las claves del banco. Son los que pueden hacer esas transferencias. Y los cibercriminales se lo saben pero que muy bien.

Figura 2: Cómo los malos atacan a los financieros

Una vez que saben quién es el objetivo, el resto será hacerle un ataque al financiero con un Spear Phishing, con Inteligencia Artificial suplantando la voz en una llamada, con un ataque combinado de IA y correo electrónico habiéndole robado antes el usuario y la contraseña, con el robo de un token OAuth de su correo electrónico para hacer que se envíe el pago de una factura a otra dirección, o con un APT vía WhatsApp usando la suplantación de los ejecutivos en esta red. Lo que sea menester para que el dinero acaba en sus manos.

Encontrando al víctima propicia con LinkedIN

Pero antes hay que localizar al objetivo. ¿Y cómo hacerlo? Pues es un sencillo ejercicio de OSINT en la red, pero hoy en día, la mayoría de las empresas tienen volcada su estructura de gobiernos en la red social por excelencia para esto: Linkedin. Así que no es nada complicado, basta con buscar el cargo de la persona que necesitas atacar en la empresa, y listo.

Figura 3: Libro Open Source INTelligence (OSINT):
Investigar personas e Identidades en Internet
de Vicente Aguilera y Carlos Seisdedos en 0xWord

Yo he hecho unas sencillas consultas esta mañana, y es sorprendente lo fácil que es encontrar qué personas hacen transferencias bancarias en las empresas. Sin necesidad de adivinar mucho, y con mucha facilidad, se encuentran personas que explican que ellos son los responsables de hacer el movimiento de dinero en las empresas.

Figura 4: Directora de ... Transferencias y Pagos

Por supuesto, si vemos desde el punto de vista de seguridad lo que significa esta explicación pública de la estructura de funciones de una empresa, va contra cualquier lógica de lo que quiere un departamento de seguridad, y un CISO. Pero asumiendo que Linkedin está y es lo que es, lo que quizá necesitemos es cierta prudencia en las personas a la hora de publicar exactamente sus funciones detalladas, especialmente si manejan el dinero de las empresas.

Figura 5: Otras cosas que han buscado los usuarios

Cuando he ido a hacer las pruebas, me han salido sugerencias de otras consultas que han hecho otros usuarios de la plataforma, y la verdad es que me llama la atención que la consulta de "Transferencias y Pagos" se haya hecho por muchos otros usuarios. ¿Tendrá alguno de esos usuarios de Linkedin que han hecho esas consultas similares malas intenciones y estará buscando víctimas propicias para ser atacadas? Seguro. Vigila lo que publican los empleados de tu empresa. He visto cosas.... que no deberían estar públicas.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Los monstruos de Halloween que llaman a tu puerta

Si echo la mente atrás, la cantidad de veces que me he disfrazado es enorme. De casi todo. Pero es que dar charlas haciendo algo divertido ha sido una de las grandes motivaciones para subirse a un escenario que he tenido en mi vida. Y subirse disfrazado suele ser un buen planteamiento de cómo hacer la charla.  No os las dejo en el artículo de hoy porque podéis buscar en Internet y encontrar fotos de todo tipo. 

Figura 1: Los monstruos de Halloween que llaman a tu puerta

También he visto a algunas personas disfrazadas de Chema Alonso, porque al final soy facilón para imitar. Dos camisetas, vaqueros, zapatillas rojas, gorro azul y marrón, y pelo largo por debajo. Done. No hay mucha complicación. Y yo hoy me volveré a disfrazar, con máscara, y lo mismo hasta la uso para hacer el Tiktok que quiero hacer - que ya han pasado muchos días sin hacer uno  -. Ya veremos en un rato.

Ver esta publicación en Instagram

Una publicación compartida de Chema Alonso (@chemaalonso)

Lo curioso de este día es que las personas normales se disfrazan de monstruos, cuando el resto del año los monstruos se disfrazan de personas normales. Un día en el que los monstruos van llenos de color por la calle. Colores llamativos para atraer las miradas de todos. Es un poco como el correo legítimo, las newsletters y el spam. Cuantos más colores tengan en el mensaje más monstruoso es el mensaje.

Figura 3: Emoticonos en los Monstruos con lentejuelas de Halloween que llegan por Spam

Basta con que vayas a tu carpeta de SPAM y eches una mirada a los colores que puedes leer en los nombres de los remitentes y en el asunto de los mensajes. Emoticonos coloridos que compiten por tu mirada, pero que no dejan de ser una muestra de cuánto de peligroso y monstruoso es ese e-mail que has recibido. 

Figura 4: Mi monstruo de Hallowen de este año me quiere regalar un iPhone 12 Pro

Pero recuerda, a estos con colores se los reconoce fácil. Van disfrazados de monstruos y se les ve venir. El problema son el resto del año, donde los monstruos van disfrazados de personas normales o de amigos que te van a regalar un iPhone 12 hoy, la noche de Halloween. Los mensajes de e-mail de los verdaderos  monstruos parecen inofensivos el resto del año, son sobrios mensajes de gente mundana. Cuídate de ellos más que de los monstruos de brillantina y lentejuela de Halloween, que son estos que no ves venir los que deben traerte mayor miedo....

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

TypoDetect: Una herramienta para detectar dominios de tus enemigos

Sin duda una de las técnicas más usadas en ataques de Phishing y Smishing, es el Typosquatting, el cual se aprovecha de la capacidad del cerebro humano en hacer correcciones inmediatas de palabras mal escritas, o de palabras faltantes en un texto. Esta es una habilidad muy útil para la lectura rápida y para minimizar el consumo de energía por el cuerpo en el momento de leer, razón por la que la lectura es tan relajante. Sin embargo, esta capacidad puede también ser utilizada por los malos en nuestra contra.

Figura 1: TypoDetect. Una herramienta para detectar dominios de tus enemigos

Existen muchos tipos de modificaciones que se pueden hacer a una palabra para que pueda ser usada en un engaño, por lo que para detectarlos hemos creado TypoDectec, - que puedes usar en tu Kali Linux - una herramienta en la que se se codificaron todos los tipos conocidos para así poder generar la mayor cantidad de posibilidades. Para entender los métodos que ejecuta la herramienta hemos hecho esta tabla con el dominio elladodelmal.com

Figura 2: Mutaciones de dominios creadas para elladodelmal.com

Una de las mutaciones que otras herramientas no toman muy en cuenta es el cambio de TLD (Top Levels Domains) o TLD Swap, pero esta mutación es muy importante si se tiene en cuenta que tomando solo los TLD de países son más de 500 y que con las nuevas normas de la IANA, cualquier palabra puede ser un TLD válido y no como al inicio de Internet que solo existían 6 TLD’s aprobados. 

Figura 3: Lista de TLDs actualizada. (imagen de ayer)

Con los cambios en la política de las IANA, casi diariamente aumenta el numero de TLD permitidos, así que la herramienta tienen esto en consideración para acceder a la publicación de la lista y actualizar las posibles mutaciones que se generen. Es así como del dominio elladodelmal.com se generan 689.921 mutaciones, las cuales como se ve de la imagen siguiente, se generan de los tipos de mutaciones antes mencionadas.

Figura 4: Ejecutando TypoDetect para crear mutaciones

Una vez, el sistema tiene la lista de mutaciones inicia las pruebas de si el dominio esta o no activo, para lo cual usa DNS over HTTPS (DoH), esto debido a que además de darnos los valores tipo A y tipo MX del dominio, nos brinda la posibilidad de tener una valoración del nivel de seguridad del dominio según su calificación de filtrado. Así, usando el servidor de DoH de ElevenPaths, obtenemos la respuesta y según el contenido se crea un JSON con todos los datos de DNS y la valoración de seguridad, con esta estructura.

Figura 5: JSON con resultado de dominios encontrados

Y para complementar la búsqueda se realizan las pruebas de que existen los dominios en la nueva red de DNS, denominada Blockchain-DNS, la cual se creo con la promesa de no poder rastrear los dominios que se usan al navegar, pero que desafortunadamente también a permitido el uso para actos maliciosos.

Figura 6: Demo de utilización de TypoDetect

Cuando el proceso de validación termina, lo cual se puede tardar unas horas, la herramienta pone en pantalla los dominios detectados como maliciosos y los detectados en Blockchain-DNS, pero crea un archivo JSON o TXT, con las respuestas de todos los dominios detectados como activos.

Figura 7: Typodetect en GitHub

Es así como esta herramienta Open Source, que está disponible en el GitHub de Telefonica en el  repositorio de TypoDetect,  le brinda una capacidad más de detección a los equipos de defensa y Threat Hunting en sus labores diarias, que pueden integrar en sus procesos.

Saludos,

Autor: Diego Samuel Espitia Montenegro, CSA de ElevenPaths, Colombia

Figura 8: Contactar don Diego Espitia