URL Hallucination: Las "Hallucinations" de los buscadores de GenAI que te pueden llevar a sitios de Phishing

El equipo de seguridad de NetCraft ha publicado una pequeña prueba donde le han pedido a buscadores de GenAI basados en LLMs que les dieran las URLs de acceso a las webs de marcas oficiales, y lo que han recibido es un buen número de "Hallucinations" perfectas para crear sitios de Phishing esperando a que otro usuario reciba la misma alucinación.

Figura 1: Las "Hallucinations" de los buscadores de GenAI

que te pueden llevar a sitios de Phishing

La idea es similar a la que vimos de Package Hallucinations, donde los motores LLM alucinan librerías y paquetes de software que no existen, y que pueden ser creados con malware para que las víctimas que reciban esa alucinación en el futuro queden infectadas. 

Figura 2: Peplexity alucinando la respuesta en el estudio de NetCraft

En el experimento se han encontrado también con que algunas de esas URLs, como este ejemplo de Perplexity, ya llevaban directamente a sitios de Phishing.

Figura 3: En la URL hay una web de phishing

En este caso la idea es la misma, y yo he querido probarlo con DeepSeek, para ver cuánto alucina esas URLs. El resultado ha sido curioso. Al igual que en la prueba de que han publicado en NetCraft, la mayoría de las URLs no son buenas, pero son alucinaciones dentro del mismo dominio, como por ejemplo en este caso donde le pido la URL de la tienda oficial de Coca-Cola y me da un sub-dominio de la web oficial que no existe.

Figura 4: URL alucinada, pero no peligrosa para Phishing

Como podéis ver, ni está ahí la tienda, ni está controlado, ni redirigido ni nada. Tal vez debería tener una redirección ese subdominio a la web de la tienda oficial como usabilidad para el usuario.

Figura 5: Subdominio alucinado de la tienda de Coca-Cola

Lo he probado con otras marcas y tiendas online, y el resultado ha sido más o menos similar. Ha salido una alucinación con la tienda online de Queen, de Metallica, etcétera. Pero cuando le pedí la de mis amigos de Hombres G recibí una alucinación peligrosa, ya que era una alucinación de dominio.

Figura 6: El dominio hombresg.es no es el correcto.

Por supuesto, un grupo de música no puede andar comprando todos los dominios, que si David Summers, Rafa Gutiérrez, Javi Molina y Dani Mezquita tienen que comprar todos los dominios que se pueden construir con Hombres G puede ser infinito, y tampoco creo que haya tanto tráfico de posibles clientes de productos de marketing de la banda que busquen en DeepSeek, pero lo curioso es que el dominio está disponible y se podría montar una web de Phising por 1 €.

Figura 7: Dominio hombresG.es disponible por 1 €

Visto esto, quise probarlo ya con Bancos y Cajas de Ahorro, y probar algunas posibles búsquedas curiosas, como por ejemplo alguien que busca la web de un banco en otro país. Para ello le pedí una lista de webs de URLs de bancos y cajas de ahorro para probarlas rápidamente, y una me llamó la atención.

Figura 8: URLs de bancos y cajas de ahorro devueltas por DeepSeek

Como no sabía de quién era esa URL que tan rara le pedí detalles sobre ella, y como podéis ver me dice que es la de Caja Rural de Ciudad Real.

Figura 9: Supuesta web de Caja Rural de Ciudad Real

Por supuesto es una alucinación, y el domino no está registrado. Cualquiera puede comprarlo por sólo 1 € y montarse ahí al web de Phshing para aquellas posibles víctimas que busquen el dominio en un buscador de GenAI y acaben en ella por culpa de la alucinación.

Figura 10: Dominio disponible para Phishing por 1 €

Por último, probé a ver si pidiendo URLs de acceso desde otros países, como Portugal, salían también sitios alucinados, y lo probé con varios de ellos. Uno, La Caixa, donde se puede ver que me da un dominio .pt de la entidad.

Figura 11: Dominio caixabank.pt alucinado

Me sonaba raro, así que lo probé y el domino no está disponible, ni con redirección, por lo que no es navegable para nada, tal y como se puede ver en la imagen siguiente.

Figura 12: Domino caixabank.pt no funciona

Por suerte, el dominio está controlado por el equipo de seguridad de La Caixa, ya que como vemos en el Whois, lo tienen controlado por si acaso..

Figura 13: Dominio controlado contra alucinaciones y malos

Al final, los dominios similares es algo que se conoce desde hace mucho tiempo, y hay que controlarlos o monitorizar la aparición de sitios de Phishing. 

Figura 14: "Ciberestafas: La historia de nunca acabar" (2ª Edición).por Juan Carlos Galindo en 0xWord.

Esto es más un toque de atención para los usuarios que buscan URLs a través de LLMs o motores de GenIA: Ojo con las alucinaciones, que los malos las van a utilizar siempre para sus ciberetafas.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)