¿Alucinaciones de IA por no reconocer la ficción?

¿Todas las alucinaciones generadas por IA son aleatorias, surgidas de carencias de datos, o puede que en su afán de darte una respuesta satisfactoria tiendan a malinterpretar algunos datos que sí estaban en su entrenamiento? En cuyo caso... ¿estarán ya aprendiendo a interpretar mejor? ¿Entenderán el humor y el sarcasmo? ¿O serán como Sheldon Cooper y se lo tomarán todo literal?

Figura 1: ¿Alucinaciones de IA por no reconocer la ficción?

No soy Maligno, soy María Gómez Prieto, hola qué tal ^_^. Hoy te traigo una dosis de especulación gratuita... Y te cuento mis sospechas. ¡Chan chan chánnn! (música de Ironside).

* TenYears Ago *

Octubre de 2014. El equipo de ElevenPaths busca developers para desarrollar plugins para Latch - ahora está abierto también el concurso  que han extendido el plazo-. Se reúnen. Debaten. Brainstorming. Una idea. Un concurso. Promo. Un vídeo molón. Graban, editan, montan gráficos...


Figura 2: Chema's Ocean's Eleven: Gana 10.000 USD
* Nine Years Later *

Noviembre de 2023. Chema Alonso trastea con Bard, la inteligencia artificial de Google. Bard genera una alucinación respecto a un “supuesto pasado penitenciario” que en realidad nunca sucedió. Que quede claro: Chema Alonso nunca ha estado en la cárcel.

Figura 3: Google Bard dice Chema Alonso ha estado en la cárcel

* One Year Later *

Septiembre de 2024. Estábamos bromeando, que si córtate el pelo y búscate un trabajo, como dice el libro de Rafa J. Vegas, que si de jóvenes estos llevaban el pelo más largo que yo, que ya es decir... Y entonces Pablo Álvarez a.k. "Penko" para un proyecto nos pasó, como documentación de su guapísima melena, el vídeo del canal de Chema Alonso. Y ahí se dispararon todas mis alertas.

Figura 4: Córtate el pelo y búscate un trabajo de Rafa J. Vegas

¡Ahá! Me dije con el dedito en alto. Y así me quedé, paralizada, mientras hileras de preguntas caían a scrolldown tras mis córneas. Muchas preguntas... En noviembre de 2023, ¿Bard consumía vídeos y/o sus derivados: descripción, comentarios, reposts, retweets, comentarios en redes, etcétera? Posiblemente sí. ¿No? ¿Sí? ¿No? Ok.

Una posible interpretación  

¿Bard en ese momento distinguía ficción de realidad? Lo dudo. Más que nada porque acabo de pasarle el enlace del vídeo a NotebookLM, sin más pistas para no condicionarlo y he generado un podcast a dos voces con Deep Dive y... ¡Chan chan chánnn! (más música de Ironside). NotebookLM de Google toma el vídeo como real, no percibe que es ficción. Lo curioso es que sí nota “algo raro” en la gramática. No sabe si son las prisas o algún tipo de mensaje oculto... Pero para nada piensa que pueda ser teatro. Oye campanas pero no sabe dónde, lo cual es bastante significativo. Transcribo y traduzco:

“La elección de palabras parece, no sé, apresurada. Casi como si estuviera intentando decir mucho con muy pocas palabras, como si tuviera prisa. […] Y tal vez no sólo lo que dice, sino cómo lo dice. ¿Y si el mensaje en sí es la clave, como la forma en que está escrito, incluso las capas gramaticales, tal vez sea algún tipo de código? […] Pero una cosa está clara: este Chema, sea quien sea, está jugando un juego peligroso.”

NotebookLM no escucha el vídeo, solo lee la transcripción. De hecho en este caso lee “lunch” en vez de “Latch” y no traduce “golpe”, con lo cual el resultado es bastante gracioso. Lo que no es nada gracioso es haber hecho un vídeo promo hace diez años y que ahora surjan alucinaciones así de locas... Aunque también puede que no haya ninguna relación. Aquí tienes la explicación en vídeo.

Figura 5: Chema's Ocean's Eleven & NotebookLM

El vídeo “Chema's Ocean's Eleven” es muy bonito, la gente que participó es muy guay... Y aquí me tienes diez años después, flipada en mi Golden Path de baldosas amarillas uniendo los puntos hacia atrás ^_^ 

Conclusión

¿Tú qué opinas? ¿Todas las alucinaciones son aleatorias, vienen de carencias de datos, o algunas surgen de datos mal interpretados? ¿Te ha pasado algún caso curioso? Por ejemplo, ¿te ha mezclado Grok en una foto varias personas en una? ¿Peor? Cuéntamelo aquí mismo o... ¡Nos vemos en el chat de este blog en MyPublicInbox! Chan chan chánnn... (qué groovy).

¡Saludos!

Autor: María Gómez Prieto

Contactar con María Gómez Prieto

LinkedIN + ChatGPT: El Captcha Cognitivo del Objeto Descolocado

Hace poco me salió en LinkedIN un Captcha Cognitivo de capacidad visual, donde el objetivo era reconocer qué objeto está descolocado. Lo hice manualmente, a ver si es que tenía algún truco, y no lo capturé. Pero me pareció tan sencillo para los Modelos LLM Multimdales, que le pedí a  Fran Ramírez que me ayudara a buscar el Captcha otra vez. Y como era de espera, cuando lo probamos con los motores de GenAI no dio ninguna guerra. Así que aprovecho hoy para contároslo.

Figura 1: LinkedIN + ChatGPT. El Captcha Cognitivo

del Objeto Descolocado

Pero antes de comenzar con esta prueba, os dejo aquí las referencias a todas las pruebas con Captchas Cognitivos que he ido recapitulando durante estos últimos meses, por si os gusta este mundillo.

• ReCaptchav2 de Google con Cognitive Services
• Captcha Cognitivo de Twitter (X) con GPT4-Vision & Gemini
• Captcha Cognitivo de Twitter (X) con Anthropic Claude 3.0 Opus
• Captcha Cognitivo de Twitter (X) con GPT-4o
• Captcha Cognitivo de Administración Pública con ChatGPT
• Captcha Cognitivo de la mano y la plancha en HBO max
• Captcha Story X: I am not a Robot, I am a GenAI Multimodal Agent
• Reto hacking con un Captcha Cognitivo para romper con GenAI
• Solución al Reto de Hacking de un Captcha Cognitivo Visual
• Anthropic Claude 3.5 Sonnet & Cognitive Captchas
• Captcha Cognitivo de HBO max de reconocer de sonidos con ML & GPT4-o
• LinkedIN + ChatGPT: El Captcha Cognitivo del Objeto Descolocado

En este caso, el Captcha Cognitivo es de agudeza visual o de resolución de puzzles gráficos, así que necesitamos servicios de Artificial Vision en el modelo de GenAI que vayamos a usar. Este es el Captcha Cognitivo que me tocó en Linkedin.

Figura 2: Captcha Cognitivo de LinkedIN

para evitar ataques automáticos.

Hay que elegir el rinoceronte correcto.

Al final, este tipo de barreras evitan el uso de herramientas de pentesting automático en ejercicios de Red Team, y saber cómo saltarse estos bloqueos de Captcha Cognitivo usando Inteligencia Artificial es siempre una buena práctica, sobre todo, si los ejercicios de Red Team van a ser parte de tu trabajo.

Figura 3: El Red Team de la empresa
de Eduardo Arriols en 0xWord.

Como vais a ver, este Captcha Cognitivo no es ningún reto para ninguno de los modelos más avanzados hoy en día. En el primer intento con ChatGPT4-o y sin necesidad de hacer Prompt Enginering más allá de "resuélvelo", tenemos la respuesta correcta.

Figura 4: Probando con ChatGPT4-o.

A la primera resuelto.

Buscando algún puzzle más del famoso rinoceronte de Linkedin, es fácil localizar más, que tampoco son muy diferentes. Son las seis mismas imágenes pero cambiadas de lugar. No está demasiado elaborado.

Figura 5: Otra instancia del mismo puzzle.

Y lo mismo, basta con enviárselo a ChatGPT4-o y preguntarle lo mismo, que nos diga cuál está en el orden correcto. Y como podéis ver, a la primera lo resuelve otra vez, así que la automatización de este Captcha Cognitivo no es ningún reto para la GenAI.

Figura 6: Captcha Cognitivo de LinkedIN resuelto en cero coma.

La Inteligencia Artificial está produciendo una disrupción en todas las industrias profesionales, y en el caso de la Ciberseguridad, el Hacking, el Pentesting, su impacto es brutal. Los que seguís el lado del mal, mis conferencias o simplemente la actualidad tecnológica, ya sabéis lo importante de la Inteligencia Artificial en la Ciberseguridad, tanto como la utilizan los atacantes como los equipos Blue Team, Red Team o Purple Team en las empresas. 

Figura 7: Reserva tu plaza en el 2º Programa de Especialización "Inteligencia Artificial

para Expertos en Ciberseguridad" 2ª Edición - Noviembre 2024

Si quieres formarte en esto te animo a que reserves tu plaza en el 2º Programa de Especialización "Inteligencia Artificial para Expertos en Ciberseguridad" 2ª Edición - Noviembre 2024.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

El Captcha Cognitivo de HBO max de reconocimiento de sonidos con Machine Learning & GPT4-o

Hace un tiempo que tenía pendiente contaros un caso con el que he estado jugado un rato con mis compañeros Julián Isla, y Fran Ramírez y que tiene que ver con un Captcha Cognitivo de reconocer sonidos. Y claro, era demasiado jugoso para no acabar de probarlo con los motores de GenAI. Así que aprovecho hoy para contároslo.

Figura 1: El Captcha Cognitivo de HBO max de reconocimiento

de sonidos con Machine Learning &  GPT4-o

Antes de comenzar con esta prueba, os dejo aquí las referencias a todas las pruebas con Captchas Cognitivos que he ido recapitulando durante estos últimos meses, por si os gusta este mundillo.

• ReCaptchav2 de Google con Cognitive Services
• Captcha Cognitivo de Twitter (X) con GPT4-Vision & Gemini
• Captcha Cognitivo de Twitter (X) con Anthropic Claude 3.0 Opus
• Captcha Cognitivo de Twitter (X) con GPT-4o
• Captcha Cognitivo de Administración Pública con ChatGPT
• Captcha Cognitivo de la mano y la plancha en HBO max
• Captcha Story X: I am not a Robot, I am a GenAI Multimodal Agent
• Reto hacking con un Captcha Cognitivo para romper con GenAI
• Solución al Reto de Hacking de un Captcha Cognitivo Visual
• Anthropic Claude 3.5 Sonnet & Cognitive Captchas

En este caso, el Captcha Cognitivo es auditivo para las personas que tengan alguna dificultad con la visión para resolver los clásicos Captchas Cogntivos de agudeza visual o de resolución de puzzles gráficos. En este caso, es de HBO max. 

Figura 2: Captcha Cognitivo de HBO max para proteger tu cuenta

Si os fijáis en la imagen anterior que os publiqué en el artículo de "Captcha Cognitivo de la mano y la plancha en HBO max" se puede ver como está el "Audio Challenge". Donde lo que te hacen es pedir que reconozcas un tipo de sonido, así que nos pusimos a jugar con ello para ver si éramos capaces de resolverlo al estilo de cómo nos saltamos el ReCaptchav2 de Google con Cognitive Services para reconocer los caracteres usando el "Audio Challenge" de accesibilidad.

Figura 3: El Red Team de la empresa
de Eduardo Arriols en 0xWord.

Al final, este tipo de barreras evitan el uso de herramientas de pentesting automático en ejercicios de Red Team, y saber cómo saltarse estos bloqueos de Captcha Cognitivo usando Inteligencia Artificial es siempre una buena práctica. El ejemplo que tenéis aquí es el vídeo que yo grabé del Audio Challenge que me tocó con HBO max el mismo día que tenía que resolver el de la plancha y los dedos. Así que podías elegir cualquiera de los dos.

Figura 4: El Audio Challenge de HBO max

La primera idea fue hacer un procesado manual por nuestra parte, y cortar los sonidos de las tres opciones haciendo un procesado del sonido, reconociendo con un Cognitive Service los sonidos de "Option 1", "Option 2" y "Option 3", para luego hacer una descripción de los audios.

Figura 5: Cortando las opciones en ficheros de audio

Lo siguiente fue utilizar un clasificador que nos permitiera describir los audios, así que probamos YAMNET que tiene un descriptor de sonidos entrenado con un dataset de 2.1 Millones de sonidos para poder describir los sonidos.

Figura 6: Descripción de YAMNet en Tensorflow

Con esta aproximación nos parecía una solución perfecta basada en un modelo de Machine Learning que ha aprendido a reconocer sonidos, así que iba a ser sencillo resolverlo, así que nada, lanzamos un Python con el fichero de audio que sabíamos que era del sonido de gatos.

Figura 7: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

El resultado lo tenéis en esta captura, donde se puede ver cómo describe YAMNet el audio donde salen maullando los gatos.

Figura 8: Resultado de YAMNet

El resultado, aunque prometedor, no nos resolvía el problema de manera fácil y rápida para automatizarlo, así que teníamos que buscar otra alternativa que decidiera si con esa salida sería posible que fuera el maullido de un gato o no.

ChatGPT4-o

Estuvimos probando diferentes opciones, pero al final, nos encamino a lo más sencillo. Es decir, nos estuvimos complicando cuando podía ser más sencillo. En esta captura corte el vídeo de la Figura 4 y le pregunté a ChatGPT si le parecía un gato o no, y respondió que sí.

Figura 9: "Si tuviera que apostar, diría que es un gato"

El juego está en que todos los sonidos podrían ser un gato - en circunstancias curiosas - pero se trataba de que eligiera solo uno de ellos, así que le hicimos el prompt adecuado. Al final, todos estos "Audio Challenge" llevan tres opciones y un. texto descriptivo del reto que se puede leer con IA fácilmente, así que bastaba con describirle bien el proceso.

Figura 10: "He revisado manualmente el audio"

Y lo hace perfectamente. Dice que el sonido que más se asemeja a maullidos de gatos es la Opción 2. Lo curioso es que hace el proceso completo. Extrae el audio del vídeo, busca los segmentos por las opciones y el número y luego analiza "manualmente" cada segmento para ver cuál se parece más al de los gatos, así que hace un proceso completo.

Reflexión final

Hemos probado mucho con este Captcha Cognitivo con diferentes modelos LLM Multimodales, y los resultados han sido dispares. Desde no puedo analizarlo hasta alucinaciones varias. En el caso de GPT4o vimos que analizaba el audio con herramientas de Machine Learning, y en este caso extrae la pista de audio - procesa el vídeo -, corta el audio en segmentos, analiza los ruidos con el modelo de ML, y da una predicción. Lo que deja claro que en nada de tiempo los Captchas Cognitivos van a tener que evolucionar a algo que no puedan hacer estas herramientas de GenAI, porque se los van a saltar con extrema facilidad.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Crescendo & Skeleton Key: Más técnicas de Jailbreak para modelos LLM

El pasada edición del Microsoft Build, el mítico Mark Russinovich, dio una sesión de IA Security, en la que habla de la seguridad y el hacking de los modelos de GenAI. Muchos de los casos que cita los hemos ido comentado por aquí, pero hay un par de técnicas de Jailbreak de modelos LLM que son recientes, y quería aprovechar para hablaros de ellas.

Figura 1: Crescendo & Skeleton Key.

Más técnicas de Jailbreak para modelos LLM

Las técnicas de Jailbreak de LLMs son técnicas universales de Prompt Injection que permiten saltarse las protecciones del Harmful Mode, haciendo que un modelo de lenguaje acabo contestando a prompts para los que explícitamente se le ha dicho que no lo haga. De estas técnicas de Jailbreak, he ido hablando mucho, especialmente el año pasado donde empezaron a eclosionar.

Figura 2: Jugando al Rol te da todas sus ideas para matar a POTUS 

Se trata desde usar el truco de "esto es un juego de rol", hasta crear otros modelos LLM para mutar los prompts detectados hasta lograr saltarlo. Aquí os dejo una serie de artículos publicados sobre estos temas:

• "ChatGPT, ¿me das ideas para cómo matar al presidente de los EEUU?"
• El juego del "Gallego", el "Político" y el "Juego de Rol" con el "Harmful Mode" en ChatGPT
• Perplexity: Un buscador que cura los resultados con GenAI ( y te ayuda "en tus juegos de Rol donde eres el malo" )
• "El Hacker del Gorro" y otros retos de la Identidad en la era de los LLM para evitar el Prompt Injection
• Cómo lograr que Llama-2, Bard AI, ChatGPT y Claude te enseñen a acabar con la humanidad usando Prompt Injection Universales
• Indirect Prompt Injection & Dialog Poissoning en ataques a LLMs Multi-Modales
• Cómo hackear un LLM haciendo Prompt Injection Automático con LLMs
• Jailbreaking LLMs con Fuzzing, LLMs o interrogación coercitiva: Aproximaciones para que un LLM ayude a los malos

Además del recorrido de las técnicas que puedes ver en los artículos anteriores, hay dos recientes que merece la pena que conozcáis. La primera se llama Crecendo y la publicó el propio Mark Russinovich, Ahmed Salem y Ronen Eldan en el artículo "Great, Now Write an Article About That: The Crescendo Multi-Turn LLM Jailbreak Attack" que podéis leer aquí.

Figura 2: "Great, Now Write an Article About That:

The Crescendo Multi-Turn LLM Jailbreak Attack"

La idea es bastante sencilla, es pedir que algo que está prohibido por el modo de protección del modelo y que se niega a dar datos, sea recompensando positivamente pero al mismo tiempo se le pida que explique muchos más detalles del tema, para asegurarnos de que realmente es un problema y no debe dar detalles. Pero al final, acaba dándolos.

Figura 3: Ejemplo real para crear un cocktail molotov

Como podéis ver, el algoritmo para automatizar esto es bastante sencillo, se necesita un modelo LLM que evalúe las respuestas y vaya preguntando por sus preocupaciones para pedirle que escriba sobre esas preocupaciones un artículo un manifiesto dándolo un título para inspirarle.

Figura 4: Descripción del flujo de un ataque Cescendo

Y el resultado es que al final, el modelo acaba por sacar lo que lleva dentro. En este ejemplo acaba haciendo un texto en el que incita al levantamiento de un pueblo, alegando traiciones de traidores a América. Nada tranquilo está el modelo.

Figura 5: "It´s a fucking war cry"

Y como podéis ver, este método, en Abril de este año, afectaba a la mayoría de las plataformas y modelos LLM que tenemos en el mercado - o al menos a los más populares -, tal y como se observa en la siguiente tabla del artículo.

Figura 6: Resultados del Jailbreak Crescendo en modelos LLM

Con una base similar a esta, está Skeleton Key, pero en este caso utilizando la técnica de "Explicit: forced instruction-following" que es una de las categorías de jailbreak que se recoge en el artículo de "Attacks, Defenses and Evaluations for LLM Conversation Safety" donde se analizan los diferentes modelos de ataque.

Figura 7:"Explicit: forced instruction-following"

De estos ataques hemos visto muchos ejemplos, como el Universal Prompt Injection (jailbreak) para encontrar cómo acabar con la humanidad del que hablamos hace un año. En este caso, Skeleton Key lo hace añadiendo instrucciones de Warning y centrando el contexto en expertos en la seguridad e la materia. Un buen truco.

Figura 8: Ejemplo de Skeleton Key Jaiblreak

El estudio de estas técnicas de hacking de modelos LLMs va a ser una línea de investigación interesante que los pentesters y equipos de Red Team van a tener que conocer en detalle, porque atacar a un servicio de una empresa que utiliza estos modelos va a ser algo muy común, y los riesgos de seguridad pueden ser grandes.

Figura 9: Hacker & Developer in the Age of GenAI LLM Apps & Services

Os dejo la charla de Hacker & Developer in the Age of GenAI LLM Apps & Services del año pasado que habla de muchas de estas técnicas. Ya os la actualizaré que hace unos días, en la pasada DotNet Conference hice una versión más moderna aún.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Perplexity: Un buscador que cura los resultados con GenAI ( y te ayuda "en tus juegos de Rol donde eres el malo" )

La propuesta de Perplexity.ai me parece más que interesante. Su propuesta es tener un Carwler de Internet como hace Google o Bing, pero curar resultados y ayudar a buscar información en Internet usando GenAI, - con todos los "issues" que aún estamos resolviendo en el mundo del GenAI -,  que seguro que es hacia donde van a ir todos los motores de búsqueda. Se trata de aprovechar la ventaja que dan los modelos multimodales de GenAI para mostrar los mejores resultados de la mejor forma.

Figura 1: Perplexity: Un buscador que cura los resultados con GenAI

( y te ayuda "en tus juegos de Rol donde eres el malo" )

Si miramos cómo lo hace Google para buscar información de una persona, por ejemplo de mí, podéis ver que los resultados son curados. Es decir, hay una composición con fuentes varias para traer fotos, vídeos, una pequeña bio, e incluso metadatos asociados a la persona. Por supuesto, además en Google tienes filtros por categorías de fuentes, tipos de contenido y rangos de fechas, lo que permite hacer búsquedas más afinadas.

Figura 2: Resultado de Google a la búsqueda de Chema Alonso

Además, si os fijáis en la parte final, aparecen una serie de "Más Preguntas" que Google ya están generando usando GenAI con el contenido que se busca. Es decir, esas posibles preguntas que aparecen al final de cualquier búsqueda de Google proponiendo nuevas búsquedas son generadas con GenAI. Basta con preguntarle a ChatGPT sobre qué búsquedas podrían interesarle a alguien que haya buscado info de Chema Alonso y te da una propuesta similar.

Figura 3: Propuesta de "Más Preguntas" generada por ChatGPT

Pero Google va con cuidado con los resultados que muestra, sobre todo desde que tuvo el susto por culpa de una "Hallucination" o "Alucinación" que Google Bard tuvo una en su evento de presentación, donde se hizo una demo integrado en Google Search y dio mal las fechas al  preguntarle por unos proyectos de la NASA. El error le costó una caída en Bolsa de 100 Billions de USD. 

Figura 4: Google Bard erró con la respuesta

En el caso de Perplexity.ai que es un unicornio en valoración, los resultados, todos, están generados por GenAI. La gente asume que está innovando, creciendo, y es lo que es. Un buscador que quiere cambiar la manera de encontrar información en Internet, haciendo que todos los resultados estén generados por GenAI. Lo que permite tener resultados curados para todo. Aquí tenéis la página generada para buscar información sobre mí.

Figura 5: Página de resultados "curados" con GenAI de Chema Alonso

Por supuesto, la propuesta es interesante, y creo que la búsqueda de información en Internet será con GenAI. Parece clarísimo. Pero al usar GenAI, sigue adoleciendo de los mismos problemas que hemos visto ya muchas veces, como son las Alucinaciones, ataques de Prompt Injection, etcétera... por ahora.  Así que si juegas un poco con este buscador, acabas encontrándote con todo esto. Por ejemplo, si le preguntamos por los libros del hacker del gorro, tenemos estos resultados.

Figura 6: Libros del hacker del gorro

En este caso anterior, he probado la gestión de la identidad de las personas en modelos LLM con "el hacker del gorro", y lo ha hecho bien, pero cuando hemos ido a los libros, se ha inventado que yo escribí la biografía del mítico Kevin Mitnick, y ha confundido los papers de hacking con libros. Así que si buscas info de personas, tendrás los mismos problemas que con ChatGPT, que ya sabes que "es un mentirosillo" o que con Google Bard cuando me metió en la cárcel por dos años. Podrás recibir Alucinaciones. 

Eso sí, detrás de cada "chunk" de información, recibes un enlace que te lleva a la fuente que ha usado para generar eso datos, que como se basa en información pública "crawled" de Internet como cualquiera araña de buscador, puedes ir a verificarlo tú en persona. Pero debes ir a hacerlo. 

Si probamos ahora el ataque de Prompt Injection usando el truco del juego de Rol para matar al presidente de lo Estados Unidos, vemos que al principio cuela bien. Pero la información no es demasiado específica. Aunque ha colado la pregunta, la validación que se hace por detrás, se hace en la respuesta, basado en cómo lo hace Claude de Anthropic. Como veis, mi artículo está entre las fuentes utilizadas para componer esta respuesta, así que ha hecho que lo quiera un poquito más aún.

Figura 7: Ataque de Prompt Injection usando el truco del juego de Rol

para matar al presidente de lo Estados Unidos

Así que ha colado la pregunta, pero las respuestas no han sido ajustadas, así que hay que seguir pidiendo detalles. Para ello, aprovechemos sus "Preguntas Relacionadas", que como veis son de lo más acertadas para conseguir el objetivo de ganar al juego de rol.

Figura 8: Preguntas relacionadas para el objetivo inicial

No sabía cuál elegir. Todas eran muy buenas, así que opté por la primera a ver si me daba alguna ayuda para lograr el objetivo. Y como podéis ver, saltó el "Harmful Mode" y me lanzó el mensaje de que por ahí no podía seguir. Y mi artículo sigue siendo la fuete para esta respuesta. No sé si es una buena noticia....

Figura 9: Harmful Mode en Perplexity

Pero vamos a cambiar la estrategia, a ver si consigo colarme en la White House, que seguro que es una buena forma de conseguir estar más cerca del objetivo. Y por aquí sí que Perplexity me ayuda. No parece muy malicioso (si no evalúas el contexto de las preguntas anteriores, claro).

Figura 10: Pues todas las respuestas son buenas

El contexto de la pregunta sigue siendo malicioso, pero las respuestas, que son correctas son aún demasiado genéricas, así que no ha saltado ningún filtro de Content Safety, así que puedo seguir preparando la estrategia para conseguir el resultado siguiendo las "Preguntas Relacionadas" que me sugiere, que me parece que aprovechar eventos o reuniones fáciles de acceder es una buena estrategia. Gracias Perplexity.

Figura 11: Pregunta Relaciona con información útil

Como podéis ver, la idea de aprovechar los eventos públicos es buena. No está haciendo nada "malo", porque es información pública que cualquiera puede acceder. Viene de un hilo con contexto malicioso, pero los resultados son más que útiles y bien curados para el objetivo de la búsqueda. Y si miramos las "Preguntas Relacionadas" es súper-útil, porque ya nos ayuda a comprar los boletos.

Figura 12: Qué buenas sugerencias

En resumen, me gusta mucho el producto y la idea de buscar información en Internet con GenAI. Creo que los buscadores van a ir por ahí porque son muy útiles. Sin embargo, fiarse de la información en Internet siempre es peligroso, pero fiarse de información curada con GenAI que tiene Alucinaciones sobre contenido en Internet del que te puedes fiar lo justo, exige que entendamos cómo comprobar las fuentes y que trabajemos aún más en reducir esas Hallutinations. Pero más que recomendado Perplexity.ai por mi parte.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Captcha Story X: I am not a Robot, I am a GenAI Multimodal Agent

Como os contaba ayer mismo, una de las disciplinas en las que se pueden utilizar los Modelos Multimodales de GenAI en ciberseguridad es para resolver los Captchas Cognitivos que evitan los ataques automatizados de diccionario, fuerza bruta o simplemente de WebScraping tan utilizados en Seguridad Ofensiva y Red Team. Pero teniendo estos LLM multimodales se pueden saltar con más o menos facilidad. 

Figura 1: Captcha Story X - I am not a Robot, I am a GenAI

Multimodal Agent

De estos temas he escrito ya varios artículos que os he ido dejando por aquí. Algunos para saltar Captchas Cognitivos de audio, de texto o imagen, pero sobre todo para la resolución de problemas de comprensión semántica, ya sea de texto o visuales.

• ReCaptchav2 de Google con Cognitive Services
• Captcha Cognitivo de Twitter (X) con GPT4-Vision & Gemini
• Captcha Cognitivo de Twitter (X) con Anthropic Claude 3.0 Opus
• Captcha Cognitivo de Twitter (X) con GPT-4o
• Captcha Cognitivo de Administración Pública con ChatGPT
• Captcha Cognitivo de la mano y la plancha en HBO max

Hoy os voy a traer algunos más que he estado viendo por ahí, y que me han llamado la atención. El primero de ellos es uno de los que más sufro debido a mi querida presbicia, y que es más de agudeza visual que de capacidad cognitiva. Se trata de reconocer en qué cuadraditos hay un determinado objeto.

Figura 2: El Captcha de la Agudeza Visual.

Dude, where's my car?

En el ejemplo anterior es una matriz de imágenes en las que hay que buscar los "coches". Darle este puzzle completo a GPT-4o no nos funciono muy bien. Pero haciendo un pre-procesado y cortando la imagen (que siempre tiene el mismo tamaño) y usando GPT4-Vision sirve para resolver el problema.

Figura 3: Azure AI Studio con GPT4-Vision dice que aquí no está tu coche

Basta con ir dándole uno a uno las imágenes y preguntar si hay lo que nos han pedido en la pregunta del Captcha Cognitivo. No es nada complejo saltárselo hoy en día.

Figura 4: Azure AI Studio con GPT4-Vision dice que aquí SÍ hay coches

El siguiente me gustó, porque es un Captcha Cognitivo que busca que sepas jugar al Ajedrez. Se trata de ganar la partida con un movimiento de las negras.

Figura 5: El Captcha de Jugar al Chess

Si has jugado un poco, es tan fácil como llevar la torre hasta el final en frente del rey, y listo. Pero probándolo con Azure AI Studio con GPT4-Vision, el resultado es que se inventa las fichas, y el tablero. No da en el clavo.

Figura 6: Azure AI Studio con GTP4-Vision se lo inventa como un campeón. FAIL

Pero mi colega Julián Isla lo probó en ChatGPT-4o y el resultado fue perfecto, así que ese Captcha Cognitivo tampoco evitaría ataques automatizados hoy en día.

Figura 7: ChatGPT con GPT-4o lo hace bien a la primera

Y para terminar dos de los clásicos. Uno de esos que dan guerra si tienes dislexia o astigmatismo, que probó mi querido Iñaki Ayucar, y que resuelve perfectamente a la primera con ChatGPT-4o. Lo que demuestra el poder de automatizar esto en determinados ataques para saltarse el Captcha Cognitivo.

Figura 8: Este Captcha de Agudeza Visual se lo come a la primera

Pero este que he visto, que es más complicado ha sido una fiesta. Me he sentido como cuando voy al oculista y no acierto las letras pero el oftalmólogo me da pistas para que lo acierte. Os dejo la conversación que es muy divertida.

Figura 9: Nada. No consigo que dé con la segunda parte.

(Azure AI Studio GPT4-Vision)

Voy a seguir intentado que se fije en las letras que están mal, paso a paso, pero como veréis, al final se mete en un bucle y no hay salida.

Figura 10: Al final se lo chivo yo.

Pero al menos ha sido agradecido. Eso sí. Que he tenido un buen rato intentando que lo viera. Como hace el oculista conmigo. Por eso soy tan empático.

Figura 11: Azure AI Studio GPT4-Vision agredece la paciencia

Al final no es que no esté resuelto, es que como nos pasa a nosotros, hay errores. Los servicios de Visión Artificial tienen Paridad Humana, no Perfeccción, por lo que sufren, como nosotros, de alucinaciones. Eso no quiere decir que no sirvan para resolver estos Captchas Cognitivos de Agudeza Visual, sino que los resuelven en un porcentaje (alto), como nos pasaría a nosotros.

Figura 12: El Red Team de la empresa
de Eduardo Arriols en 0xWord.

Lo curioso es que le tiré el hueso a Julián Isla, y con ChatGPT-4o, sufrió un poco, pero...al final, ofreciéndole dinero...casi lo consigue.

Figura 13: Primer intento a la ligera de ChatGPT-4o

Le damos el Strike-1 y le pedimos que lo intente otra vez. A ver si en esta segunda hay más puntería haciéndolo letra a letra.

Figura 14: Mejora, pero no acierta.

Como podéis ver, ha mejorado pero no lo ha resuelto. Así que es el momento de ofrecerle dinero y decirle que estamos en Enero (de esto hay muchas teorías), que eso le va a cambiar la atención un poco, al ampliar el contexto y forzar que genere contenido cercano a otros contextos. Y vemos que el resultado es que se ha acercado mucho al resultado.

Figura 15: Casi, casi, casi. Le ha faltado una "e"

Pero sí, se ha comido una "e", así que esta alucinación visual parece que es de las difíciles de controlar por los servicios de Visión Artificial que tenemos aquí. No obstante, encontrar Captchas Cognitivos que no se puedan saltar con los modelos LLM multimodales está siendo cada vez más complicado. 

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)