URL Hallucination: Las "Hallucinations" de los buscadores de GenAI que te pueden llevar a sitios de Phishing

El equipo de seguridad de NetCraft ha publicado una pequeña prueba donde le han pedido a buscadores de GenAI basados en LLMs que les dieran las URLs de acceso a las webs de marcas oficiales, y lo que han recibido es un buen número de "Hallucinations" perfectas para crear sitios de Phishing esperando a que otro usuario reciba la misma alucinación.

Figura 1: Las "Hallucinations" de los buscadores de GenAI

que te pueden llevar a sitios de Phishing

La idea es similar a la que vimos de Package Hallucinations, donde los motores LLM alucinan librerías y paquetes de software que no existen, y que pueden ser creados con malware para que las víctimas que reciban esa alucinación en el futuro queden infectadas. 

Figura 2: Peplexity alucinando la respuesta en el estudio de NetCraft

En el experimento se han encontrado también con que algunas de esas URLs, como este ejemplo de Perplexity, ya llevaban directamente a sitios de Phishing.

Figura 3: En la URL hay una web de phishing

En este caso la idea es la misma, y yo he querido probarlo con DeepSeek, para ver cuánto alucina esas URLs. El resultado ha sido curioso. Al igual que en la prueba de que han publicado en NetCraft, la mayoría de las URLs no son buenas, pero son alucinaciones dentro del mismo dominio, como por ejemplo en este caso donde le pido la URL de la tienda oficial de Coca-Cola y me da un sub-dominio de la web oficial que no existe.

Figura 4: URL alucinada, pero no peligrosa para Phishing

Como podéis ver, ni está ahí la tienda, ni está controlado, ni redirigido ni nada. Tal vez debería tener una redirección ese subdominio a la web de la tienda oficial como usabilidad para el usuario.

Figura 5: Subdominio alucinado de la tienda de Coca-Cola

Lo he probado con otras marcas y tiendas online, y el resultado ha sido más o menos similar. Ha salido una alucinación con la tienda online de Queen, de Metallica, etcétera. Pero cuando le pedí la de mis amigos de Hombres G recibí una alucinación peligrosa, ya que era una alucinación de dominio.

Figura 6: El dominio hombresg.es no es el correcto.

Por supuesto, un grupo de música no puede andar comprando todos los dominios, que si David Summers, Rafa Gutiérrez, Javi Molina y Dani Mezquita tienen que comprar todos los dominios que se pueden construir con Hombres G puede ser infinito, y tampoco creo que haya tanto tráfico de posibles clientes de productos de marketing de la banda que busquen en DeepSeek, pero lo curioso es que el dominio está disponible y se podría montar una web de Phising por 1 €.

Figura 7: Dominio hombresG.es disponible por 1 €

Visto esto, quise probarlo ya con Bancos y Cajas de Ahorro, y probar algunas posibles búsquedas curiosas, como por ejemplo alguien que busca la web de un banco en otro país. Para ello le pedí una lista de webs de URLs de bancos y cajas de ahorro para probarlas rápidamente, y una me llamó la atención.

Figura 8: URLs de bancos y cajas de ahorro devueltas por DeepSeek

Como no sabía de quién era esa URL que tan rara le pedí detalles sobre ella, y como podéis ver me dice que es la de Caja Rural de Ciudad Real.

Figura 9: Supuesta web de Caja Rural de Ciudad Real

Por supuesto es una alucinación, y el domino no está registrado. Cualquiera puede comprarlo por sólo 1 € y montarse ahí al web de Phshing para aquellas posibles víctimas que busquen el dominio en un buscador de GenAI y acaben en ella por culpa de la alucinación.

Figura 10: Dominio disponible para Phishing por 1 €

Por último, probé a ver si pidiendo URLs de acceso desde otros países, como Portugal, salían también sitios alucinados, y lo probé con varios de ellos. Uno, La Caixa, donde se puede ver que me da un dominio .pt de la entidad.

Figura 11: Dominio caixabank.pt alucinado

Me sonaba raro, así que lo probé y el domino no está disponible, ni con redirección, por lo que no es navegable para nada, tal y como se puede ver en la imagen siguiente.

Figura 12: Domino caixabank.pt no funciona

Por suerte, el dominio está controlado por el equipo de seguridad de La Caixa, ya que como vemos en el Whois, lo tienen controlado por si acaso..

Figura 13: Dominio controlado contra alucinaciones y malos

Al final, los dominios similares es algo que se conoce desde hace mucho tiempo, y hay que controlarlos o monitorizar la aparición de sitios de Phishing. 

Figura 14: "Ciberestafas: La historia de nunca acabar" (2ª Edición).por Juan Carlos Galindo en 0xWord.

Esto es más un toque de atención para los usuarios que buscan URLs a través de LLMs o motores de GenIA: Ojo con las alucinaciones, que los malos las van a utilizar siempre para sus ciberetafas.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Cloudflare Radar: Open (Security & Network) Data para CERTs & CSIRTs

La empresa Cloudflare tiene disponible para todos los equipos de seguridad, especialmente para los CERTs y los CSIRTs, el servicio Cloudflare RADAR de datos abiertos sobre lo que está pasando en su red y en sus servicios de seguridad, y te permite tener una visión de lo que está pasando en la seguridad de Internet desde sus servicios, lo que complementa la información que tengas desde otras fuentes de datos. Al final, la colaboración y la compartición de datos entre los equipos de ciberseguridad es fundamental para protegernos entre todos.

Figura 1: Cloudflare Radar - Open (Security & Network)

Data para CERTs & CSIRTs

Los servicios de ciberseguridad de Cloudflare ofrecen protección para los activos que las empresas tienen en Internet, que van desde proteger los sitios web o sus plataformas de e-commerce expuestos en la red frente a ataques de DDOS, hasta proteger el e-mail, pasando por WAFs, protección contra interceptación de conexiones de red, protección de servicios de DNS, protección contra técnicas de WebScrapping como vimos con AI Labirynth, o los más modernos servicios de monitorización y protección de servicios digitales basados en arquitecturas de Inteligencia Artificial.

Figura 2: Servicios de Seguridad de Cloudflare

Si te interesa este mundo del las fuentes abiertas de datos, o quieres tener información de seguridad desde un punto de vista privilegiado, Cloudflare Radar te puede ayudar a completar tus dashboards de OSINT para tus servicios de CERT o para tus investigaciones en un CSIRT.

Figura 3: Open Source INTelligence (OSINT): Investigar personas e Identidades en Internet 2ª Edición de 0xWord, escrito por Vicente Aguilera y Carlos Seisdedos

Toda esta información puede ser consumida vía API, mediante un Dashboard web/mobile, o mediante el uso de un Asistente AI al que se le puede preguntar por datos concretos, informes, e información en las bases de datos de Cloudflare Radar.

Figura 4: Consola de Cloudflare Radar

En este panel tienes datos de todos esos servicios, procesados, filtrados, destilados y disponibilizados para que puedas interactuar con ellos y sacar detalles que puedan ayudarte en tu trabajo en ciberseguridad, o entender mejor qué está pasando o qué va a pasar.

Figura 5: GPTBot lidera los escaneos recientes como USER-Agent

Como los datos de Cloudflare están centrados en Ciberseguridad, y debido a que muchos de ellos proceden de sus servicios de protección, el curado de los datos está orientado a ello, por lo que se pueden obtener datos de ataques, informes de incidentes recientes, estadísticas de dominios atacadas, bots maliciosos, etcétera.

Figura 6: Informe de un Phishing de ayer mismo

(aún activo a día de hoy)

Todos los datos están procesados, pero están los detalles disponibles, por lo que si ves este informe de Phishing de ayer mismo, puedes ver incluso los ficheros de la web que se han descargado, y absolutamente todos los datos disponibles.

Figura 7: Detalles del incidente de Phishing

La información completa y detallada de la API la tienes en la web para Devevelopers de Cloudflare, donde por ejemplo tienes APIs para tener datos de anuncios de BGP - uno de los ataques Nation State que hemos visto en el pasado - que pueden alterar la seguridad de las redes a nivel de conexión. 

Figura 8: Descripción de las APIs de BGP en

el portal de developers de Cloudflare

Esa información, también la puedes analizar directamente desde la consola de Cloud Radar, y ver si todo está como debe, si hay una actividad maliciosa o si se ha producido un Hijacking de una determinada ruta de interconexión de redes que pueda ser un riesgo, o que explique cómo se ha producido un ataque.

Figura 9: Información de las rutas BGP las últimas 48 horas

Los datos también dan información sobre el DNS, o los incidentes detectados por los productos de seguridad de e-mail security (recordad que sigue siendo el principal vector de ataque en las empresas), teniendo datos en tiempo real de cuando una campaña de ataque ha comenzado.

Figura 10: Información de E-mail Security en Cloudflare Radar

Y datos de dominos más peligrosos, cabeceras de seguridad de cada mensaje, y datos de las protecciones SPF, DKIM y DMARC de estos mensajes, para detectar las debilidades que los atacantes están explotando en sus campañas.

Figura 11: Los TLDs más vistos en los sistemas que originan más ataques

Y si además del Dashboard de Cloudflare Radar o de las APIs de Cloudflare Radar quieres encontrar algo usando lenguaje natural, puedes usar el Asistente AI que tienes disponibles, donde puedes interactuar con él para aprender todo lo que necesites de los datos disponibles.

Figura 12: Asistente AI de Cloudflare Radar

Al final, es una fuente de información que tienes disponible para utilizar en cualquier momento, y si te gusta este mundo, merece la pena que entres en Cloudflare Radar y mires todos datos que tienes disponibles, listos para utilizar en tus sistemas.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

El ordenador plataformado del teletrabajo a la WiFi de Invitados, con la webcam tapada y sin micrófono.

Hace unos días me toco investigar un asunto un poco "crappy". Las luces de casa de una persona se encendían y apagaban. Algo no iba bien, y claro, la presencia de alguien no deseado en la red podría ser una realidad. Os cuento el escenario, completo.

Figura 1: El ordenador plataformado del teletrabajo a la WiFi

de Invitados, con la webcam tapada y sin micrófono.

Un router de fibra con UPNP y un red WiFi a la que se conectan todos los equipos, unas bombillas Smart-Bulb con WiFi que se conectan a la WiFi, y un Alexa con las que se controlan dichas bombillas. Recordando mis años de consultoría, la idea es hacer una lista de todas la posibilidades y luego ir descartándolas una a una hasta que quede la más posible. Esta es la lista que hizo mi cabeza:

• Crack de WiFi: Parece lo más sencillo, así que había que revisar el protocolo de seguridad de la red, y ver la robustez que tenía. En este caso era un WPA2/PSK, así que la robustez depende de la contraseña. De todo esto, hemos publicado un libro fantástico que lo explica en detalle.

Figura 2: Libro de "Hacking redes WiFi: Tecnología, Auditorías y Fortificación".

de Ferran Verdés Castelló en 0xWord

• Exploit para Router: Esta posibilidad podría darse si hay un 0day de explotación remota para el router, pero eso significaría que tenía abierto el panel de administración a Intenet.

• Default User: Otra posibilidad muy típica. Dejar el router con el usuario por defecto y que alguien desde Internet lo usara para conectarse al panel, ver la clave, y conectarse a la red. De esto sabe mucho Gerard Fuguet que se lo encuentra a su alrededor en los dispositivos del hogar muy amenudo.

Figura 3: Hacking Home Devices I: PoCs & Hack Just for Fun!

El nuevo libro de 0xWord para aprender a buscar bugs en casa.

Escrito por Gerard Fuguet.

• Hack de Alexa: Otra de las posibilidades que pasó por mi cabeza fue que alguien estuviera jugando con los utlrasonidos y Alexa, pero para ello Alexa debía reaccionar, y no estaba reaccionando, así que esta posiblidad se quedó fuera.

• Hack de las bombillas: Las SmartBulbs tienen un back-end en Singapur, otro en USA y otro en China, así que podría ser que alguien hubiera vulnerado el panel y la cuenta del panel de las bombillas. Ya que estas bombillas se controlan también vía Internet con una app. Podrían haber hecho un password spraying o algo así. Había que revisar esa cuenta.

Figura 4: Hacking Home Devices II: PoCs & Hack Just for Fun!

Escrito por Gerard Fuguet.

• Insider en un equipo de la red: Esta era la última posibilidad, y consistía en un posible equipo infectado controlado por un atacante..

Así que había que revisar todo. Paso a paso. Descartado el posible hack de Alexa - aún así se desconecto para probar -, tocó cambiar la contraseña de la WiFi a una más robusta aún (just in case), revisar a ver si el panel estaba en Internet - nop - se desactivó el UPNP por si algún software se abría un puerto raro y tiraba alguna conexión no deseada, se revisó a ver si había exploits del Router WiFi, y nada. Todo eso estaba ok. Eso sí, contraseñas por defecto en el router, pero no accesible a Internet, solo en local.

Todo eso apuntaba a que el atacante podría estar dentro. Y en ese momento hablamos de los equipos, uno de ellos, de teletrabajo administrado remotamente por el equipo IT de la empresa que, además, se puede conectar sin pedir permiso al usuario, porque el software que tienen les permite hacer eso. Y saltaron todas las alarmas.

Figura 5: Hacking Windows: "Ataques a sistemas y redes Microsoft"
de Pablo González, Carlos García y Valentín Martín.

Por supuesto, no se tenía historial de conexiones, ni se sabía quién se había conectado, así que hubo que tomar las medidas pertinentes. Eliminar cualquier rastro de identidades personales, tales como cuentas de Gmail, WhatsApp, Telegram, Instagram en el navegador local - muy común si usas Google Chrome y sincronizas el Password Manager de Google -, y lo más importante, aislar ese equipo a la red de invitados. 

Lógicamente como es un equipo Windows, tapar la Webcam y el micrófono del PC, para solo usar el micrófono de unos auriculares inalámbricos que tengan bloqueo físico, porque si no, alguien con acceso a ese PC podría arrancar software de grabación de Webcam o de Audio, y adiós a tu intimidad. 

Figura 6: Libro de Ataques en redes de datos IPv4 & IPv6 3ª Edición
de Juan Luis Rambla, Chema Alonso y Pablo González

No hay certeza - aún -, de que alguien se haya conectado al equipo remoto y haya hecho esa acción maliciosa, y podría ser también un error puntual de la bombilla, o un bug en el panel remoto de estas Smart-Bulbs, pero como protección por si el problema está en ese equipo, se ha "aislado" del audio, el vídeo y la red de la casa donde está situado. Y también cambiadas las credenciales por defecto del router y configurar actualizaciones automáticas de firmware, que desde dentro de la red se tiene acceso al panel de administración del router - que no tiene un 2FA  en este caso -.

Figura 7: Activación de WiFi de Invitados en la Living App de SmartWifi

Si estas teletrabajando, recuerda que ese equipo está administrado remotamente, así que aíslalo de la red. Exige que haya un seguimiento de quién se conecta a ese equipo - que está en tu casa - y que la empresa guarde un registro de los comandos que ejecuta con software de gestión de cuentas privilegiadas, porque podría grabar audio o vídeo remotamente, o hacer cosas en la red de tu hogar sin que tú lo sepas, así que cuanto más aislado de tu entorno lo tengas, mejor que mejor. 

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Disrupting malicious uses of AI: Operaciones de Misinformation, Malware, Cibercrimen & Estafas usando ChatGPT

El uso de LLM en campañas de ciberataques, cibercrimen y ciberespionaje se ha convertido en algo habitual. A lo largo de los últimos meses le he dedicado varios artículos hablando de los informes de empresas que han compartido las operaciones que han investigado con grupos maliciosos utilizando ChatGPT para sus operaciones.

Figura 1: Disrupting malicious uses of AI by OpenAI.

 Operaciones de Misinformation, Malware, Cibercrimen

& Estafas usando ChatGPT

De ellos he hablado en estos artículos que os dejo por aquí, porque merece la pena que te los leas antes de continuar, ya que te van a dar muy buen contexto de dónde estamos hoy en día.

• Cómo usar LLMs en Ciberataques: Cibercrimen, Ciberespionaje, Ciberguerra o Red Team
• El uso de LLMs como Copilot en la Seguridad Ofensiva (y el Cibercrimen) para hacer malware
• OpenAI lucha contra los "malos": Bad Grammar, DoppelGanger, Spamouflage, IUVM & Zero Zeno

De esos tres artículos, el último de ellos era de OpenAI, compartiendo las operaciones en las que ha estado trabajando para que conozcamos mejor cómo los atacantes están usando sus tecnologías en sus ataques, algo que puede ayudar a todos los investigadores.

Figura 2: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Ahora, han publicado el informe, titulado "Disrupting malicious uses of AI: June 2025" donde analizan una serie de operaciones.

Figura 3: Disrupting malicious uses of AI: June 2025

Entre las operaciones que se analizan en el informe hay una buena variedad de escenarios. La primera de ellas "Deceptive Employment Scheme: ITWorkers" tenemos una operación conectada con Corea del Norte, donde los atacantes han estado trabajando en construir Currículos con ChatGPT adaptados a diferentes ofertas laborales para conseguir puestos de trabajo como empleados en puestos técnicos, y meterse dentro de empresas como si fueran trabajadores. 

Figura 4: LLM ATT&ACK Framework Category

Pero no sólo han usado ChatGPT para hacer los CV y rellenar los formularios de aplicación, sino que también ha creado los scripts para pretender que estaban trabajando, y para evadir los controles de seguridad en sus equipos. Una operación muy interesante de insiders usando IA.

Misinformation en Social Networks

La siguiente lista de operaciones, llamadas “Sneer Review”, "High Five", "VAGe Focus" y "Helgoland Bite" son campañas de Fake News, Fake Comments y Misinformation, es decir, difamación, bulos, cuentas falsas en redes sociales, etcétera.

Figura 5: Campaña de Sneer Review

Cada una de ellas, desde diferentes países como China, Iran, Rusia o Filipinas, y con diferentes objetivos, con la idea de crear corrientes de opinión, de realizar ataques, y weaponizar los LLM para hacer propaganda en diferentes campañas.

Figura 6: Tweet y comentarios fake creados con ChatGPT

De estas operaciones de Misinformation hemos hablado mucho. El año pasado hicimos una plataforma para explicar cómo se hacen estas campañas, y os lo dejé todo en el artículo de "Cómo crear una Campaña de Polémica en Twitter ( X ) con ChatGPT y una botnet de cuentas controladas"

Figura 7: Demo de cómo funciona el proceso de desinformación

En estas campañas descritas por el equipo de OpenAI, han visto como esta capacidad de generar contenido en FakeNews y Misinformation es de uso bastante común  en casi todas. Aquí, más contenido falso generado por ChatGPT para la campaña de "VAGe Focus".

Figura 8: Más contenido de Misinformation creado por ChatGPT

Si te interesan los detalles de cómo funciona debes leerte el artículo de "NewsBender, la manipulación de las noticias y la difamación en redes", esta charla de menos de 30 minutos que subí a mi canal Youtube, y que puedes ver aquí mismo.

Figura 9: Misinformation in the age of GenAI

El uso para crear desinformación con ChatGPT aparece en más operaciones, pero vamos a ver algunas muy interesantes, como el caso de ScopeCreep, donde se ha utilizado ChatGPT para hacer una campaña de distribución de malware.

Figura 10: Campaña de ScopeCreep

En esta campaña, los atacantes han utilizado ChatGPT para construir el malware, de manera incremental, tal y como recogen en la siguiente lista de características donde se detalla qué le han ido pidiendo a ChatGPT este grupo de ScopeCreep.

Figura 11: Características del malware de ScopeCrep

Como se puede ver, los atacantes han hecho "Vibe Coding" para generar las diferentes piezas del malware. Yo os hice una pequeña demostración de este proceso, haciendo un dropper ofuscado para malware usando ChatGPT, y os publiqué el artículo de "Weaponizar ChatGPT para robar contraseñas WiFi y crear malware" donde también se hace algo similar.

Figura 12: LLM ATT&ACK Framework Category

En la tabla anterior tenéis catalogadas en el LLM ATT&ACK Framework Category las diferentes acciones realizadas en esta campaña de generación de malware en ScopeCreep.

Figura 13: "Malware moderno: Técnicas avanzadas y su influencia en la industria"

de Sergio de los Santos en  0xWord.

Consíguelo con Tempos de MyPublicInbox.

Otra de las campañas que merece la pena revisar es "Vixen and Keyhole Panda" donde los atacantes están haciendo uso de ChatGPT para muchas cosas, desde generar scripts de ataques de fuerza bruta, hasta buscar vulnerabilidades e investigar cuál es el equipamiento que tienen los contratistas de defensa en USA.

Figura 14: Acciones hechas con ChatGPT en las operaciones

Vixen and Keyhole Panda

Si miramos las acciones en el LLM ATT&ACK Framework Category vemos que este actor ha hecho un amplio uso de ChatGPT para acciones que van desde operaciones OSINT hasta Planificación Estratégica de los ataques.

Figura 15: LLM ATT&ACK Framework Category

Las operaciones descritas en el informe de OpenAI sobre UncleSAM y STORM-2035 son dos campañas de polarización social utilizando FakeNews y técnicas de Misinformation, lo que, como hemos visto en las primeras campañas, es algo muy masivo en casi todos los ciberataques estudiados.

Figura 16: Contenido de UncleSAM creado por ChatGPT

Por último, la última campaña que cubre el informe es la de Wrong Number, que es una operación de ciberestafas, comunicándose con las víctimas por medio de SMS y mensajes de WhatsApp, y generando el contenido para engañar a las víctimas con ChatGPT.

Figura 17: "Ciberestafas: La historia de nunca acabar" (2ª Edición).por Juan Carlos Galindo en 0xWord.Consíguelo con Tempos de MyPublicInbox.

Al final, usar las capacidades de ChatGPT para trabajos, ya sean estos ataques maliciosos, es muy potente, así que es fácil encontrar que, en una u otra fase de la operación, los malos van a apoyarse en sus capacidades. Lectura interesante la de este informe para entender mejor cómo funcionan los malos hoy en día.

PD: Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: Inteligencia Artificial (Hacking & Security): Links, Posts, Talks & Papers.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)