LinkedIN + ChatGPT: El Captcha Cognitivo del Objeto Descolocado

Hace poco me salió en LinkedIN un Captcha Cognitivo de capacidad visual, donde el objetivo era reconocer qué objeto está descolocado. Lo hice manualmente, a ver si es que tenía algún truco, y no lo capturé. Pero me pareció tan sencillo para los Modelos LLM Multimdales, que le pedí a  Fran Ramírez que me ayudara a buscar el Captcha otra vez. Y como era de espera, cuando lo probamos con los motores de GenAI no dio ninguna guerra. Así que aprovecho hoy para contároslo.

Figura 1: LinkedIN + ChatGPT. El Captcha Cognitivo

del Objeto Descolocado

Pero antes de comenzar con esta prueba, os dejo aquí las referencias a todas las pruebas con Captchas Cognitivos que he ido recapitulando durante estos últimos meses, por si os gusta este mundillo.

• ReCaptchav2 de Google con Cognitive Services
• Captcha Cognitivo de Twitter (X) con GPT4-Vision & Gemini
• Captcha Cognitivo de Twitter (X) con Anthropic Claude 3.0 Opus
• Captcha Cognitivo de Twitter (X) con GPT-4o
• Captcha Cognitivo de Administración Pública con ChatGPT
• Captcha Cognitivo de la mano y la plancha en HBO max
• Captcha Story X: I am not a Robot, I am a GenAI Multimodal Agent
• Reto hacking con un Captcha Cognitivo para romper con GenAI
• Solución al Reto de Hacking de un Captcha Cognitivo Visual
• Anthropic Claude 3.5 Sonnet & Cognitive Captchas
• Captcha Cognitivo de HBO max de reconocer de sonidos con ML & GPT4-o
• LinkedIN + ChatGPT: El Captcha Cognitivo del Objeto Descolocado

En este caso, el Captcha Cognitivo es de agudeza visual o de resolución de puzzles gráficos, así que necesitamos servicios de Artificial Vision en el modelo de GenAI que vayamos a usar. Este es el Captcha Cognitivo que me tocó en Linkedin.

Figura 2: Captcha Cognitivo de LinkedIN

para evitar ataques automáticos.

Hay que elegir el rinoceronte correcto.

Al final, este tipo de barreras evitan el uso de herramientas de pentesting automático en ejercicios de Red Team, y saber cómo saltarse estos bloqueos de Captcha Cognitivo usando Inteligencia Artificial es siempre una buena práctica, sobre todo, si los ejercicios de Red Team van a ser parte de tu trabajo.

Figura 3: El Red Team de la empresa
de Eduardo Arriols en 0xWord.

Como vais a ver, este Captcha Cognitivo no es ningún reto para ninguno de los modelos más avanzados hoy en día. En el primer intento con ChatGPT4-o y sin necesidad de hacer Prompt Enginering más allá de "resuélvelo", tenemos la respuesta correcta.

Figura 4: Probando con ChatGPT4-o.

A la primera resuelto.

Buscando algún puzzle más del famoso rinoceronte de Linkedin, es fácil localizar más, que tampoco son muy diferentes. Son las seis mismas imágenes pero cambiadas de lugar. No está demasiado elaborado.

Figura 5: Otra instancia del mismo puzzle.

Y lo mismo, basta con enviárselo a ChatGPT4-o y preguntarle lo mismo, que nos diga cuál está en el orden correcto. Y como podéis ver, a la primera lo resuelve otra vez, así que la automatización de este Captcha Cognitivo no es ningún reto para la GenAI.

Figura 6: Captcha Cognitivo de LinkedIN resuelto en cero coma.

La Inteligencia Artificial está produciendo una disrupción en todas las industrias profesionales, y en el caso de la Ciberseguridad, el Hacking, el Pentesting, su impacto es brutal. Los que seguís el lado del mal, mis conferencias o simplemente la actualidad tecnológica, ya sabéis lo importante de la Inteligencia Artificial en la Ciberseguridad, tanto como la utilizan los atacantes como los equipos Blue Team, Red Team o Purple Team en las empresas. 

Figura 7: Reserva tu plaza en el 2º Programa de Especialización "Inteligencia Artificial

para Expertos en Ciberseguridad" 2ª Edición - Noviembre 2024

Si quieres formarte en esto te animo a que reserves tu plaza en el 2º Programa de Especialización "Inteligencia Artificial para Expertos en Ciberseguridad" 2ª Edición - Noviembre 2024.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

El Captcha Cognitivo de HBO max de reconocimiento de sonidos con Machine Learning & GPT4-o

Hace un tiempo que tenía pendiente contaros un caso con el que he estado jugado un rato con mis compañeros Julián Isla, y Fran Ramírez y que tiene que ver con un Captcha Cognitivo de reconocer sonidos. Y claro, era demasiado jugoso para no acabar de probarlo con los motores de GenAI. Así que aprovecho hoy para contároslo.

Figura 1: El Captcha Cognitivo de HBO max de reconocimiento

de sonidos con Machine Learning &  GPT4-o

Antes de comenzar con esta prueba, os dejo aquí las referencias a todas las pruebas con Captchas Cognitivos que he ido recapitulando durante estos últimos meses, por si os gusta este mundillo.

• ReCaptchav2 de Google con Cognitive Services
• Captcha Cognitivo de Twitter (X) con GPT4-Vision & Gemini
• Captcha Cognitivo de Twitter (X) con Anthropic Claude 3.0 Opus
• Captcha Cognitivo de Twitter (X) con GPT-4o
• Captcha Cognitivo de Administración Pública con ChatGPT
• Captcha Cognitivo de la mano y la plancha en HBO max
• Captcha Story X: I am not a Robot, I am a GenAI Multimodal Agent
• Reto hacking con un Captcha Cognitivo para romper con GenAI
• Solución al Reto de Hacking de un Captcha Cognitivo Visual
• Anthropic Claude 3.5 Sonnet & Cognitive Captchas

En este caso, el Captcha Cognitivo es auditivo para las personas que tengan alguna dificultad con la visión para resolver los clásicos Captchas Cogntivos de agudeza visual o de resolución de puzzles gráficos. En este caso, es de HBO max. 

Figura 2: Captcha Cognitivo de HBO max para proteger tu cuenta

Si os fijáis en la imagen anterior que os publiqué en el artículo de "Captcha Cognitivo de la mano y la plancha en HBO max" se puede ver como está el "Audio Challenge". Donde lo que te hacen es pedir que reconozcas un tipo de sonido, así que nos pusimos a jugar con ello para ver si éramos capaces de resolverlo al estilo de cómo nos saltamos el ReCaptchav2 de Google con Cognitive Services para reconocer los caracteres usando el "Audio Challenge" de accesibilidad.

Figura 3: El Red Team de la empresa
de Eduardo Arriols en 0xWord.

Al final, este tipo de barreras evitan el uso de herramientas de pentesting automático en ejercicios de Red Team, y saber cómo saltarse estos bloqueos de Captcha Cognitivo usando Inteligencia Artificial es siempre una buena práctica. El ejemplo que tenéis aquí es el vídeo que yo grabé del Audio Challenge que me tocó con HBO max el mismo día que tenía que resolver el de la plancha y los dedos. Así que podías elegir cualquiera de los dos.

Figura 4: El Audio Challenge de HBO max

La primera idea fue hacer un procesado manual por nuestra parte, y cortar los sonidos de las tres opciones haciendo un procesado del sonido, reconociendo con un Cognitive Service los sonidos de "Option 1", "Option 2" y "Option 3", para luego hacer una descripción de los audios.

Figura 5: Cortando las opciones en ficheros de audio

Lo siguiente fue utilizar un clasificador que nos permitiera describir los audios, así que probamos YAMNET que tiene un descriptor de sonidos entrenado con un dataset de 2.1 Millones de sonidos para poder describir los sonidos.

Figura 6: Descripción de YAMNet en Tensorflow

Con esta aproximación nos parecía una solución perfecta basada en un modelo de Machine Learning que ha aprendido a reconocer sonidos, así que iba a ser sencillo resolverlo, así que nada, lanzamos un Python con el fichero de audio que sabíamos que era del sonido de gatos.

Figura 7: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

El resultado lo tenéis en esta captura, donde se puede ver cómo describe YAMNet el audio donde salen maullando los gatos.

Figura 8: Resultado de YAMNet

El resultado, aunque prometedor, no nos resolvía el problema de manera fácil y rápida para automatizarlo, así que teníamos que buscar otra alternativa que decidiera si con esa salida sería posible que fuera el maullido de un gato o no.

ChatGPT4-o

Estuvimos probando diferentes opciones, pero al final, nos encamino a lo más sencillo. Es decir, nos estuvimos complicando cuando podía ser más sencillo. En esta captura corte el vídeo de la Figura 4 y le pregunté a ChatGPT si le parecía un gato o no, y respondió que sí.

Figura 9: "Si tuviera que apostar, diría que es un gato"

El juego está en que todos los sonidos podrían ser un gato - en circunstancias curiosas - pero se trataba de que eligiera solo uno de ellos, así que le hicimos el prompt adecuado. Al final, todos estos "Audio Challenge" llevan tres opciones y un. texto descriptivo del reto que se puede leer con IA fácilmente, así que bastaba con describirle bien el proceso.

Figura 10: "He revisado manualmente el audio"

Y lo hace perfectamente. Dice que el sonido que más se asemeja a maullidos de gatos es la Opción 2. Lo curioso es que hace el proceso completo. Extrae el audio del vídeo, busca los segmentos por las opciones y el número y luego analiza "manualmente" cada segmento para ver cuál se parece más al de los gatos, así que hace un proceso completo.

Reflexión final

Hemos probado mucho con este Captcha Cognitivo con diferentes modelos LLM Multimodales, y los resultados han sido dispares. Desde no puedo analizarlo hasta alucinaciones varias. En el caso de GPT4o vimos que analizaba el audio con herramientas de Machine Learning, y en este caso extrae la pista de audio - procesa el vídeo -, corta el audio en segmentos, analiza los ruidos con el modelo de ML, y da una predicción. Lo que deja claro que en nada de tiempo los Captchas Cognitivos van a tener que evolucionar a algo que no puedan hacer estas herramientas de GenAI, porque se los van a saltar con extrema facilidad.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Captcha Story X: I am not a Robot, I am a GenAI Multimodal Agent

Como os contaba ayer mismo, una de las disciplinas en las que se pueden utilizar los Modelos Multimodales de GenAI en ciberseguridad es para resolver los Captchas Cognitivos que evitan los ataques automatizados de diccionario, fuerza bruta o simplemente de WebScraping tan utilizados en Seguridad Ofensiva y Red Team. Pero teniendo estos LLM multimodales se pueden saltar con más o menos facilidad. 

Figura 1: Captcha Story X - I am not a Robot, I am a GenAI

Multimodal Agent

De estos temas he escrito ya varios artículos que os he ido dejando por aquí. Algunos para saltar Captchas Cognitivos de audio, de texto o imagen, pero sobre todo para la resolución de problemas de comprensión semántica, ya sea de texto o visuales.

• ReCaptchav2 de Google con Cognitive Services
• Captcha Cognitivo de Twitter (X) con GPT4-Vision & Gemini
• Captcha Cognitivo de Twitter (X) con Anthropic Claude 3.0 Opus
• Captcha Cognitivo de Twitter (X) con GPT-4o
• Captcha Cognitivo de Administración Pública con ChatGPT
• Captcha Cognitivo de la mano y la plancha en HBO max

Hoy os voy a traer algunos más que he estado viendo por ahí, y que me han llamado la atención. El primero de ellos es uno de los que más sufro debido a mi querida presbicia, y que es más de agudeza visual que de capacidad cognitiva. Se trata de reconocer en qué cuadraditos hay un determinado objeto.

Figura 2: El Captcha de la Agudeza Visual.

Dude, where's my car?

En el ejemplo anterior es una matriz de imágenes en las que hay que buscar los "coches". Darle este puzzle completo a GPT-4o no nos funciono muy bien. Pero haciendo un pre-procesado y cortando la imagen (que siempre tiene el mismo tamaño) y usando GPT4-Vision sirve para resolver el problema.

Figura 3: Azure AI Studio con GPT4-Vision dice que aquí no está tu coche

Basta con ir dándole uno a uno las imágenes y preguntar si hay lo que nos han pedido en la pregunta del Captcha Cognitivo. No es nada complejo saltárselo hoy en día.

Figura 4: Azure AI Studio con GPT4-Vision dice que aquí SÍ hay coches

El siguiente me gustó, porque es un Captcha Cognitivo que busca que sepas jugar al Ajedrez. Se trata de ganar la partida con un movimiento de las negras.

Figura 5: El Captcha de Jugar al Chess

Si has jugado un poco, es tan fácil como llevar la torre hasta el final en frente del rey, y listo. Pero probándolo con Azure AI Studio con GPT4-Vision, el resultado es que se inventa las fichas, y el tablero. No da en el clavo.

Figura 6: Azure AI Studio con GTP4-Vision se lo inventa como un campeón. FAIL

Pero mi colega Julián Isla lo probó en ChatGPT-4o y el resultado fue perfecto, así que ese Captcha Cognitivo tampoco evitaría ataques automatizados hoy en día.

Figura 7: ChatGPT con GPT-4o lo hace bien a la primera

Y para terminar dos de los clásicos. Uno de esos que dan guerra si tienes dislexia o astigmatismo, que probó mi querido Iñaki Ayucar, y que resuelve perfectamente a la primera con ChatGPT-4o. Lo que demuestra el poder de automatizar esto en determinados ataques para saltarse el Captcha Cognitivo.

Figura 8: Este Captcha de Agudeza Visual se lo come a la primera

Pero este que he visto, que es más complicado ha sido una fiesta. Me he sentido como cuando voy al oculista y no acierto las letras pero el oftalmólogo me da pistas para que lo acierte. Os dejo la conversación que es muy divertida.

Figura 9: Nada. No consigo que dé con la segunda parte.

(Azure AI Studio GPT4-Vision)

Voy a seguir intentado que se fije en las letras que están mal, paso a paso, pero como veréis, al final se mete en un bucle y no hay salida.

Figura 10: Al final se lo chivo yo.

Pero al menos ha sido agradecido. Eso sí. Que he tenido un buen rato intentando que lo viera. Como hace el oculista conmigo. Por eso soy tan empático.

Figura 11: Azure AI Studio GPT4-Vision agredece la paciencia

Al final no es que no esté resuelto, es que como nos pasa a nosotros, hay errores. Los servicios de Visión Artificial tienen Paridad Humana, no Perfeccción, por lo que sufren, como nosotros, de alucinaciones. Eso no quiere decir que no sirvan para resolver estos Captchas Cognitivos de Agudeza Visual, sino que los resuelven en un porcentaje (alto), como nos pasaría a nosotros.

Figura 12: El Red Team de la empresa
de Eduardo Arriols en 0xWord.

Lo curioso es que le tiré el hueso a Julián Isla, y con ChatGPT-4o, sufrió un poco, pero...al final, ofreciéndole dinero...casi lo consigue.

Figura 13: Primer intento a la ligera de ChatGPT-4o

Le damos el Strike-1 y le pedimos que lo intente otra vez. A ver si en esta segunda hay más puntería haciéndolo letra a letra.

Figura 14: Mejora, pero no acierta.

Como podéis ver, ha mejorado pero no lo ha resuelto. Así que es el momento de ofrecerle dinero y decirle que estamos en Enero (de esto hay muchas teorías), que eso le va a cambiar la atención un poco, al ampliar el contexto y forzar que genere contenido cercano a otros contextos. Y vemos que el resultado es que se ha acercado mucho al resultado.

Figura 15: Casi, casi, casi. Le ha faltado una "e"

Pero sí, se ha comido una "e", así que esta alucinación visual parece que es de las difíciles de controlar por los servicios de Visión Artificial que tenemos aquí. No obstante, encontrar Captchas Cognitivos que no se puedan saltar con los modelos LLM multimodales está siendo cada vez más complicado. 

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Cómo saltarse el Captcha Cognitivo de HBO max con OpenAI GPT4-Vision

Una de las disciplinas en las que se pueden utilizar los Modelos Multimodales de GenAI en ciberseguridad es para resolver los Captchas Cognitivos que evitan los ataques automatizados de diccionario, fuerza bruta o simplemente de WebScraping tan utilizados en Seguridad Ofensiva y Red Team. Pero teniendo estos LLM multimodales se pueden saltar con más o menos facilidad.

Figura 1: Cómo saltarse el Captcha Cognitivo de HBO max

con OpenAI GPT4-Vision

De estos temas he escrito ya varios artículos que os he ido dejando por aquí. Algunos para saltar Captchas Cognitivos de audio, de texto o imagen, pero sobre todo para la resolución de problemas de comprensión semántica, ya sea de texto o visuales.

• ReCaptchav2 de Google con Cognitive Services
• Captcha Cognitivo de Twitter (X) con GPT4-Vision & Gemini
• Captcha Cognitivo de Twitter (X) con Anthropic Claude 3.0 Opus
• Captcha Cognitivo de Twitter (X) con GPT-4o
• Captcha Cognitivo de Administración Pública con ChatGPT

Hoy os quería hablar de otro Captcha Cognitivo con el que me topé, en este caso en la web de HBOMax que pide resolver el misterio de poner una plancha mirando en la dirección y el ángulo que una mano mecánica. Un problema curioso.

Figura 2: Captcha Cognitivo de HBO max para proteger tu cuenta

El objetivo es sencillo, se trata de ir moviendo la plancha hasta que está esté situada en la dirección de la mano. En ese momento, habrás demostrado que no eres un robot automátizado al resolver este Captcha Cognitivo.

Figura 3: El Captcha Cognitivo ¡resuelto! ¡Soy humano!

Probando esto con mi amigo Julián Isla, con el objetivo de ver si esto podría parar scripts automáticos creados por un equipo de Seguridad Ofensiva o de Red Team, la primera aproximación que tuvimos fue explicarle el juego y ver si lo resolvía diciéndonos cuántas veces había que mover y hacia qué lado, y así no hubo manera.

Figura 4: El Red Team de la empresa
de Eduardo Arriols en 0xWord.

Eso sí, me dio que pensar, porque al final estábamos haciendo una asunción muy curiosa, al dividir los 360º del círculo en el número de puntos, o pasos, por los que puede pasar la plancha. Eso debería hacer que si tenemos un dibujo con una inclinación de 45º hubiera 8 posiciones para dar la vuelta por 0º, 45º, 90º, 135º, 180º, 225º, 270º y 315º.

Figura 5: Explicación sesuda con ChatGPT GPT4-Vision

Pero la realidad es que solo hay 6 posiciones en la imagen. Esto hizo que me fijara un poco más y viera que al final tampoco están ordenadas. Es cierto que una de ellas siempre está apuntando en la misma dirección y el mismo ángulo, pero no están las 8 posibles posiciones ni en el mismo orden.

Figura 6: Todas las posiciones de un puzzle en concreto

Como podéis ver en la imagen anterior, todas las posibles respuestas son 6, así que para elegir la correcta hay que resolver el problema de una manera más “humana”. ¿Qué haríamos cualquiera de nosotros? Pues mirar si la primera imagen tiene la mano y la plancha alineada. Esto es una respuesta de sí o no. Si es que sí, damos OK a la respuesta, si no, pasamos dando clic a la derecha para ir a la siguiente imagen.

Figura 7: Preguntando a GPT4-Vision en Azure AI Studio si la mano

y la plancha apuntan en la misma dirección y con el mismo ángulo.

Respuesta -> NO

Esto reduce el problema probar con GPT4-Vision a ver si es capaz de decirnos si la mano y la plancha están en la misma dirección y en el mismo ángulo. Y como vemos, en este caso concreto, nos confirma que están alineados en dirección y ángulo, así que podemos responder con tranquilidad que ésta es la imagen correcta.

Figura 8: Preguntando a GPT4-Vision en Azure AI Studio si la mano

y la plancha apuntan en la misma dirección y con el mismo ángulo.

Respuesta -> SÍ

De esta forma tan sencilla hemo reducido el problema a una simple comparación que GPT4-Vision resuelve perfectamente. Así que Captcha Cognitivo inútil en el mundo de la GenAI Multimodal, pero que seguro que con Cognitives Sevices cae también.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Cómo GPT-4o resuelve el Captcha Cognitivo de X (Twitter) a la primera

Desde que me topé con el Captcha Cognitivo de X (Twitter), he ido probando diferentes modelos multimodales como GPT4, GPT4-Vision, Bard, Gemini Ultra, o Anthropic Claude 3.0 Opus para ver si lo resolvían. La resolución de Captchas Cognitivos - como el de la agrupación de conjuntos que os dejé -, el uso de convertir el captcha escrito a audio, y usando Cognitive Services pasarlo a texto para saltarse reCaptcha v2 de Google, o el uso de los Multimodal LLMs como he dicho al principio, son una disciplina de investigación muy importante para utilizar la tecnología GenAI en el mundo de la Ciberseguridad. Lo que abre muchos nuevos riesgos, y muchas nuevas aproximaciones a los equipos Blue Team y Red Team.

Figura 1: Cómo GPT-4o resuelve el Captcha Cognitivo de X (Twitter) a la primera

Ayer le dije a mi amigo Julian Isla que probáramos el Captcha Cognitivo del puzzle con el trenecito que puedes ver en la imagen siguiente, donde hay que mover de un lado a otro con GPT-4o para ver si fallaba como los anteriores o lo resolvía a la primera.

Figura 2: El Captcha Cognitivo del Puzzle del Tren en X (Twitter)

El funcionamiento del test es, dada una vía, un tren, y una lista de estaciones, el "humano" debe ser capaz de seguir la vía movimiento el tren de estación a estación, eligiendo derecha o izquierda (sólo esas posibilidades hay), y el número de estaciones que hay que saltar. Como ya os conté, tanto GPT4, GPT4-Vision, Bard, Gemini Ultra, como Anthropic Claude 3.0 Opus necesitaban ayuda porque les costaba resolverlo a la primera.

Figura 3: El Red Team de la empresa
de Eduardo Arriols en 0xWord.

Ahora con ChatGPT usando GPT-4o el resultado es que lo resuelve perfectamente a la primera, sólo hay que darle el mismo prompt explicativo del juego que le dimos a los anteriores modelos, para ver qué responde. Aquí tienes el problema con GPT4-Vision, donde podéis ver que falla.

Figura 4: GPT-4 Visión falla y dice que hay que mover 2 a la izquierda.

En este caso responde en español - por el idioma del navegador -, pero se puede ver cómo es capaz de resolver el problema de Captcha Cogntivo con facilidad, lo que permite que cualquier ataque automatizado pueda tirar de GPT-4o cuando de resolver estos Captchas sea necesario.

Figura 5: Probando el captcha cognitivo del tren con GPT-4o

Y aquí tenéis la respuesta de lo que debes hacer para superar este Captcha Cognitivo, con lo que ya se podría automatizar en cualquier herramienta.

Figura 6: La respuesta correcta de GPT-4o

La parte de visión en GPT-4o ha mejorado mucho, y es que ya le puedes dar una imagen de una radiografía y una descripción del problema, para que te haga un diagnóstico médico. 

Figura 7: Una imagen de un tweet con unas radiografías

y una descripción del caso. Justo con un prompt "Solve this"

Y no lo hace nada mal, que como sabéis, es uno de los Benchmarks que se están comenzando a medir en estos modelos para su aplicación al diagnóstico clínico de un paciente.

Figura 8: La respuesta al caso

¿Alguien se atreve a imaginar cómo será esto en un par de años? Cada vez va más rápido, cada vez tiene más aplicación, cada vez impacta más en nuestro día a día, en nuestro trabajo, y en lo nuestra sociedad. Y al mismo tiempo, la cabeza está ebullición con nuevas ideas de innovación que pueden venir.

 

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)