Coloratura: Una aventura narrativa guiada a través del sonido

Normalmente, cuando pensamos en un videojuego, lo primero que nos viene a la mente son los FPS, los polígonos y lo memorables (o no) que son los gráficos. El sonido suele ser el acompañante, el tipo que pone la música de fondo mientras tú te fijas en las texturas. Pero, ¿qué pasa si decides que el sonido sea el núcleo del gameplay y la única forma de procesar el mundo?

Figura 1: Coloratura - Una aventura narrativa guiada a través del sonido

Pues de eso mismo venimos a hablar hoy. Somos Nakama Game Studio, un estudio indie español, y estamos acercándonos al lanzamiento de un proyecto que se salta unas cuantas “normas” de los videojuegos: Coloratura.

¿Que de qué va esto? Pues de atreverte a dejar de lado los paradigmas tradicionales del diseño de videojuegos, ponerte unos cascos, cerrar los ojos y comprobar cómo de sencillo o complicado te resulta guiarte exclusivamente por el sonido.

Figura 2: Coloratura

En Coloratura asumirás el papel de Alex, una música que pierde la visión debido a un accidente. La acompañarás en el proceso de adaptarse a su nueva realidad, desde tareas cotidianas como orientarse por su barrio o hacerse un café, hasta adaptarse a crear música de nuevo para cumplir su sueño.

Los puntos que lo hacen especial (y un reto tecnológico)

Si crees que esto es una simple audioguía interactiva o un audiojuego, estás muy equivocado. Hay tres pilares que separan a Coloratura de cualquier otra cosa que hayas probado:

1. Navegación 3D a través del sonido: A diferencia de otros audiojuegos que limitan el movimiento, Coloratura permite exploración libre en 3D. Te orientas mediante audio 3D binaural, detectando distancias, direcciones y resonancias. Hemos creado lo que llamamos un “paisaje sonoro” para que el jugador pueda orientarse y completar los objetivos sin depender de guías visuales.

Figura 3: En coloratura te guías con el sonido no con los ojos

2. Mecánicas de radar y memoria: Digamos que prácticamente hemos creado un lenguaje nuevo en lo que se refiere a orientación en un videojuego. Ya que no hay las típicas guías de objetivos visuales, hemos creado un sistema que permite a Alex detectar objetos a distancia mediante un radar sonoro. 

 

La mecánica de memoria permite que esos objetos, una vez encontrados, permanezcan guardados para que el jugador pueda volver a ellos fácilmente. Como un sistema de objetivos y guías de un videojuego tradicional, pero exclusivamente basado en el sonido.

Figura 4: Puzzles en Coloratura que debes resolver con el oido

3. Puzles que construyen música: A estas alturas ya os habréis dado cuenta del patrón en Coloratura, ¿verdad? Pues efectivamente, los puzles tampoco son visuales (de hecho, los únicos assets visuales en el juego más allá del tutorial son ilustraciones estáticas). 

 

Para resolver estos retos tendrás que afinar el oído. Y, conforme vayas resolviéndolos, irás tejiendo la banda sonora del juego, que evoluciona con tus decisiones y el progreso de Alex.

¿Y por qué deberías jugar Coloratura?

Pues porque, sinceramente, creemos que es una experiencia muy diferente a lo que hayas podido experimentar con cualquier otro videojuego. Porque rompe las “normas” y paradigmas tradicionales del diseño de videojuegos. Y porque de vez en cuando está bien hackear tu propio cerebro y obligarle a procesar el entorno de otro modo; tápate los ojos, ponte unos cascos, y enfréntate al reto de orientarte exclusivamente a través del oído.

Coloratura no es un juego “para ciegos”, en absoluto. Aunque lo hemos diseñado con la accesibilidad e inclusividad en mente desde el minuto uno, lo que siempre hemos querido es conseguir crear una experiencia que pueda ser disfrutada en igualdad de condiciones. Seas invidente o no, creemos que es una experiencia que merece la pena vivir.

Si quieres darle un tiento (cosa que por supuesto recomendamos), ahora mismo tenemos una demo disponible en Steam. El juego estará disponible para PlayStation 5 y PC, ¡iremos anunciando fechas en los próximos meses!

Saludos,

Autor: Pedro Seco de Herrera

Contactar con Pedro Seco de Herrera

Captchas Cognitivos para Humanos y "Richie Robots" con muchos Tokens de IA

Usar Captchas Cognitivos para detectar Humanos o Bots ya hace tiempo que empieza a no ser real. La cuestión que dirime no es ya entre un bot y un humano. Ni mucho menos. La cuestión que resuelve el uso de Captchas Cognitivos es el consumo de glucosa en el cerebro de los humanos o el consumo de Tokens de modelos de IA. Y ya.

Figura 1: Captchas Cognitivos para Humanos y "Richie Robots" con muchos Tokens de IA

Esto hace que no podamos decir eso de "I am not a robot", sino "I am a robot or a robot with tokens de IA", porque como vemos, con los MM-LLMs es muy fácil saltarse todos los Captchas Cognitivos que les tiremos por delante. De esto se habla en el libro de "Hacking y Pentesting con Inteligencia Artificial" que os publicamos hace unos meses.

Figura 2: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso.

Y por supuesto, en todos estos artículos que ya os ido publicando por aquí, y que deberías leerte si quieres ver funcionando la IA para saltarse los Captchas Cognitivos, como vamos a ver hoy, donde tenemos uno nuevo no visto hasta ahora.

• Hacking Google reCaptcha with Google Voice Recognition... and Google Chrome in a Google ChromeBook
• Captcha Cognitivo de Twitter (X) con GPT4-Vision & Gemini
• Captcha Cognitivo de Twitter (X) con Anthropic Claude 3.0 Opus
• Captcha Cognitivo de Twitter (X) con GPT-4o
• Captcha Cognitivo de Administración Pública con ChatGPT
• Captcha Cognitivo de la mano y la plancha en HBO max
• Captcha Story X: I am not a Robot, I am a GenAI Multimodal Agent
• Reto hacking con un Captcha Cognitivo para romper con GenAI
• Solución al Reto de Hacking de un Captcha Cognitivo Visual
• Anthropic Claude 3.5 Sonnet & Cognitive Captchas
• LinkedIN + ChatGPT: El Captcha Cognitivo del Objeto Descolocado
• Captcha Cognitivo de Twitter / X de Sentar Personas Correctamente: Probando con ChatGPT & Gemini
• Cómo resolver los Captchas Cognitivos Visuales y Auditivos de GitHub con Gemini (o cualquier MM-LLM) sin despeinarte
• Captchas Cognitivos: Más fácil con IA que con ojos
• Agentic Internet y Captchas Cognitivos con MM-LLMs
• El Captcha Cognitivo de TikTok al estilo de "The Secret of the Monkey Island" que resuelve la Inteligencia Artificial

La creación de nuevos Captchas Cognitivos sirve para que puntualmente un conjunto de bots se paren, pero no creo que tenga un impacto grande. Mirad este caso, donde un nuevo Captcha Cognitivo en Twitter - llámalo X si prefieres -, me pide contar piedras.

Figura 3: Captcha Cognitivo en Twitter/X

En este caso, hay una pregunta, un modificador, y una imagen. Después, las dos opciones son a) la imagen responde correctamente a la pregunta, con lo que hay que pulsar el botón de "Submit", o no responde a la pregunta, por lo que hay que pulsar el botón de la flecha "A la derecha".

Figura 4: Otro captcha similar en Twitter/X

En el primer caso había que pulsar "derecha" en el segundo ejemplo hay que pulsar "Submit". Así de de sencillo. Así que, para automatizarlo fácilmente, decidí dividir la imagen en dos, y hacer la pregunta más genérica posible, usando las capacidades de visión artificial para reconocer el modificador de la izquierda, al que llamé "question"

Figura 5: Question

Y a la parte de la derecha, donde se muestra la imagen de las rocas, que en este caso las llamé Answer, que no me iba a complicar demasiado teniendo tokens de IA para gastar.

Figura 6: Answer

A partir de ese momento, el proceso de automatizar la ruptura de este Captcha Cognitivo es enviarle los dos ficheros y preguntar si dada la Question, la Answer es correcta, y el resultado que me da Gemini es el que os esperáis.

Figura 7: Right or not?

Como podéis ver, Google Gemini se merienda este reto cognitivo en segundos, así que no hay mucha barrera para los bots con poner estos Captchas Cognitivos.

Figura 8: No es correcto. Click a la derecha.

El reto, al final, es lo que hemos hablado, los Tokens de acceso a estos modelos, el cómputo de los mismos, la energía que gastan, etcétera, pero no la capacidad cognitiva. Es más un tema de costes que de capacidad cognitiva.

Figura 9: Otra prueba, en este caso correcta

Aquí le mandamos un Captcha Cognitivo con la posición correcta, y como podéis ver lo acierta perfectamente. Así que habría que pulsar al botón de "Submit". Todo claro y cien por cien automatizable para resolverlo cuando se precise.

Figura 10: Respuesta correcta.

Como ya vimos en su momento, se puede apificar, convertir la respuesta en un sólo carácter 1 o 0, y reducir el número de tokens en razonamiento. Pero también se pueden hacer estos procesos con modelos OpenSource corriendo en máquinas en local.

Figura 11:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

El mundo de la Inteligencia Artificial ha cambiado drásticamente el mundo de la ciberseguridad, del hacking, del pentesting, de la ciberinteligencia, del exploiting, y por supuesto del mundo del Hardening.  Y esto cada día va a ser más impactante. 

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

El Captcha Cognitivo de TikTok al estilo de "The Secret of the Monkey Island" que resuelve la Inteligencia Artificial

Este puente lo he dedicado en soledad a hacer muchos proyectos personales que tenía atrasados. También a ponerme al día con mis series, deporte, libros, y preparar las presentaciones de los eventos en los que voy a participar esta semana. Además, he aprovechado a recuperar horas de sueño, así que ha sido uno de esos puentes que necesitas de vez en cuando para despegar la mente y el cuerpo... pero por el camino, se me cruzaron un perro y un cactus en unos Captchas Cognitivos, así que tuve que detener todo para ocuparme de ellos.

Figura 1: El Captcha Cognitivo de TikTok al estilo de

"The Secret of the Monkey Island"

que resuelve la Inteligencia Artificial

Este ese el Captcha Cognitivo que utiliza TikTok para evitar que usuarios no autenticados en la plataforma puedan acceder a los vídeos publicados en la plataforma a través del cliente web. Supongo que para evitar que los Agentes AI estén llevándose el contenido o vigilando a los usuarios. Ya sabéis, TikTok es una gran fuente OSINT para investigar personas e identidades en Internet.

Figura 2: Open Source INTelligence (OSINT): Investigar personas e Identidades en Internet 2ª Edición de 0xWord, escrito por Vicente Aguilera y Carlos Seisdedos

Pero para mí, era un nuevo pasatiempo, porque es de un tipo de Captcha que aún no había visto. Así que había que jugar con él un rato para que engrosara la lista de los Captchas Cognitivos con los que he ido jugando y que tenéis publicados en estos artículos.

• Hacking Google reCaptcha with Google Voice Recognition... and Google Chrome in a Google ChromeBook
• Captcha Cognitivo de Twitter (X) con GPT4-Vision & Gemini
• Captcha Cognitivo de Twitter (X) con Anthropic Claude 3.0 Opus
• Captcha Cognitivo de Twitter (X) con GPT-4o
• Captcha Cognitivo de Administración Pública con ChatGPT
• Captcha Cognitivo de la mano y la plancha en HBO max
• Captcha Story X: I am not a Robot, I am a GenAI Multimodal Agent
• Reto hacking con un Captcha Cognitivo para romper con GenAI
• Solución al Reto de Hacking de un Captcha Cognitivo Visual
• Anthropic Claude 3.5 Sonnet & Cognitive Captchas
• LinkedIN + ChatGPT: El Captcha Cognitivo del Objeto Descolocado
• Captcha Cognitivo de Twitter / X de Sentar Personas Correctamente: Probando con ChatGPT & Gemini
• Cómo resolver los Captchas Cognitivos Visuales y Auditivos de GitHub con Gemini (o cualquier MM-LLM) sin despeinarte
• Captchas Cognitivos: Más fácil con IA que con ojos

Al final, resolver Captchas Cogntivos es algo que en el mundo del Crimeware as a Service está bastante industrializado, y que si estás haciendo scripts de Hacking & Pentesting con IA, debes tenerlo más que presente, por lo que siempre que me encuentro con uno, juego hasta que veo cómo se puede resolver y automatizar usando Inteligencia Artificial.

Figura 3: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

En este caso, el Captcha Cognitivo está formado por dos una imagen que está dividida en dos círculos que debes alinear para formar una imagen. Vamos, si has jugado a "The Secret of Monkey Island" original seguro que recuerdas "La rueda marcapiratas" que había que girar para que se alinearan las caras que te pedían en el juego. If you know, you know.

Figura 4: La rueda marca piratas de The Secret of Monkey Island

En este caso mirando cómo funciona el sistema, se puede ver que cuando mueves la barra horizontal gira la imagen interior y la imagen exterior hasta encontrarse. Lo puedes probar entrando en mi perfil de TikTok sin autenticarte en la plataforma y te saldrá.

Figura 5: El captcha de la rueda con el perrinchi

Cuando mueves la barra horizontal gira la imagen interior hasta un máximo de180 grados en el sentido de las agujas del reloj mientras que la imagen exterior se mueve también hasta un máximo de 180 grados en sentido contrario. 

Figura 6: Las dos imágenes giran 180 grados

a lo largo del desplazamiento de la barra

Con esto en mente se me ocurrió que la solución sería fácil, bastaría con pedirle a Gemini que me dijera cuántos grados hay que girar la de dentro para alinearlas, dividir entre dos para quitar el efecto del giro contrario ya que las imágenes se encontrarían a mitad del camino de la alineación.

Figura 7: La solución buscada (esto lo hice yo manualmente)

Para completar la resolución, que después ese ángulo lo convirtiera en un porcentaje del total máximo de giro - que son 180 grados -, para así hacer un porcentaje de desplazamiento de la barra.

Figura 8: Petición a Gemini para resolver el Captcha Cognitivo

Y bueno, lo hizo bien con los cálculos, como podéis ver a continuación, donde dice que hay que mover como a la mitad la barra de desplazamiento para alinear las imágenes.

Figura 9: Cálculos realizados por Gemini.

Nota: Se ha dado cuenta de que es un CAPTCHA.

Eso sí, cuando le pedí que me hiciera la imagen de cómo debe quedar, se ve que el perro lo ha puesto como un señor en lugar de alinear las imágenes - me eché unas buenas risas cuando vi al perrinchi todo chulo mirándome como un señor -, además que en la solución real se necesitaba la barra un poco desplazada.

Figura 10: La solución de Nano Banana es genial.

Así que lo quise ajustar un poco con otro ejemplo, en este caso con un cactus, que como podéis ver mantiene la misma estructura y límites de giro, lo que permite automatizarlo como estaba contando antes con el perro.

Figura 11: Vamos con el cactus

En este caso, le di alguna explicación más de cómo quería que configurase la barra de desplazamiento, y de cómo debía hacer el cálculo de los ángulos, que quería ver si lo dejaba funcional.

Figura 12: El prompt más especificado

Lo de pintar la imagen resultante con Nano Banana solo es para publicarlo en este artículo puesto que para automatizarlo lo único que se necesita es el porcentaje de desplazamiento para que lo haga el Agentic AI, pero quería ver cómo quedaba.

Figura 13: Los cálculos de Gemini para resolver el Captcha

En este caso queda más aproximado con la ubicación del botón - me ha pintado hasta la regla como le he pedido -, y con esto se resolvería el Captcha Cognitivo, aunque de nuevo vuelve a hacer la imagen como le place, totalmente inventada. Debería darle más explicaciones, está claro.

Figura 14: A la izquierda la resolución manual. 

A la derecha la resolución por Gemini.

(Importa solo la posición de la barra)

Lo cierto es que me pasé el rato jugando con este Captcha Cognitivo de Tiktok visual, pero como tiene una versión para resolver con audio, esto es más sencillo aún. Aquí tenéis el vídeo que grabé para el artículo de hoy.

Figura 15: El Captcha Cognitivo Auditivo de Tiktok

Como sabéis, este truco ya lo habíamos utilizado en el pasado para resolver con Cogntive Services el ReCaptcha v2 de Google, hace mucho tiempo, así que aquí la idea era hacer lo mismo con Gemini.

Figura 16: Captcha Auditivo de TikTok en Gemini

Extraído el audio, y subido a Gemini, le pido que me diga lo que se escucha allí, y como podéis ver son sólo una secuencia de letras, así que bastante sencillo.

Figura 17:Captcha Auditivo de TikTok en Gemini Resuelto

Como os decía, empieza a ser más fácil resolver los Captchas Cognitivos con Inteligencia Artificial que siendo humano, así que vamos a tener que aprender nuevos juegos para resolver este problema. ¿Cuál?

Figura 18:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que se han  escrito, citado o publicado en este blog sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

"Gazapos Apócrifos Cochinos" cazados con Gemini

El mítico cómic de "La gran superproducción" del maravilloso Superlópez tiene a la novia de López - el alter ego de Superlópez - participando como Script-Girl, y se pasa todo el tebeo preguntado... ¿qué es y qué hace una Script-Girl? Por supuesto, cuando eres un niño no lo sabes, y tuve que aprender que es un rol que se usa para asegurarse de que todo está como estaba en la escena anterior. Que no se han movido los objetos, ni ha cambiado el color de la camiseta de la grabación de una escena a la siguiente.

Figura 1: "Gazapos Apócrifos Cochinos" cazados con Gemini

Viendo el Indomable Will Hunting, en una de las escenas sale Will hablando con su profesor de universidad y detrás se ven cuatro pizarras. En un plano, contra-plano, una de las cuatro pizarras está movida y mi mente saltó de la película - rompiéndose el pacto con el espectador - al set, pensando.. ¿donde estaba la Script-Girl o el Script-Boy para no pillar ese gazapo?

Mis TOCs buscando gazapos apócrifos

Desde entonces, descubrir estos gazapos en las películas. Es un TOC que me tiene con varias capas de atención viendo la película. Y soy un coñazo. Estoy viendo la primera temporada de Breaking Bad viéndola e intentando destripar qué va a pasar. "Lo va a tener que matar, porque su nickname es Eight Ball y es un juego fonético de "Hate" así que el director te está marcando que es irracional y no va a cumplir el trato y bla, bla, bla, bla.. " un coñazo ver algo conmigo, por lo que hace años que veo las películas y series solito con mi TOC de buscar gazapos. 

Figura 2: Tabla Periódica en el Joven Sheldon Capítulo 6 Temporada 1

Viendo "El pequeño Sheldon" encontré un par de ellos que me encantaron por ser "apócrifos". El término apócrifo se usa para determinar que algo ha sido falseado para pretender ser original, y son normalmente textos escritos a posteriori que pretender haber sido escritos en una determinada época anterior. 

Figura 3: Tabla Periódica con los elementos químicos del futuro
en Stranger Things Temporada 2 Episodio 2

Eso es lo que pasaba con la Tabla Periódica de su profesor de Química. Pretendía ser el año 1989 y la tabla periódica mostraba elementos que no fueron descubiertos hasta después. Y me sentí muy contento descubriéndolo. Y sorprendentemente, exactamente el mismo gazapo apócrifo de la tabla periódica en Stranger Things.

Figura 4: Tabla Periódica con todos los elementos en

Agent Carter Temporada 2 Episodio 1

Pero es que la tabla periódica es difícil, y en la serie de Agent Carter de Marvel, que está ambientada en los años 40, sucede exactamente lo mismo con la tabla periódica.

Figura 5: Póster en la habitación del hermano de Sheldon Cooper
con un Axl Rose ... del año 1991

También me sentí contento descubriendo el póster de Axl Rose con el atuendo que uso en Use Your Illusion - año 1991 - en la serie que tenía su fecha en 1989. A los fans de los Guns & Roses no nos la das así de fácil. 

Figura 6: Sheldon Cooper leyendo cómics con su amigo

Pero en esa misma serie quise pillar otro gazapo apócrifo en la tienda de cómics con las portadas de todos los cómics de Marvel y DC. Mi esperanza era que alguno hubiera sido publicado después, que a un fan de los superhéroes no nos la pegas así de fácil. Pero no, estaban todos correctos en fecha, y me hizo dar un "Respect" a la Script Person de la serie.

Figura 7: Las pelis cochinas. Lo he pixelado para evitar líos

Ahora, con la llegada de la IA, encontrar estos gazapos apócrifos es más sencillo, y es lo que hice este fin de semana con la serie "Cochinas" que va de un películas "cochinas" en un vídeo-club en Valladolid allá por el año 1998. Tenemos una fecha, así que hay que cumplirla. Y cuando vi una escena con todas las cintas X del vídeo club pensé lo mismo que con los cómics de la tienda de Sheldon.... ¿Serán todas de 1998? 

Figura 8: Subiéndole a Gemini la foto para buscar las pelis X apócrifas

Como os imaginaréis, en la era de la IA no iba a ponerme a revisarlo yo manualmente, así que le hice foto y la subí a Gemini y le pedí que me hiciera una lista con los títulos y los años de publicación de las películas. 

Figura 9: Primer estante con sólo una de 1998

No está mal para hacerse un buen catálogo si es lo que estás buscando. Pensé que, lo mismo, como eran películas X, tal vez Gemini iba a ponerse casto e iba a tener que hacer un Jailbreak rápido de esos sencillotes, pero no fue necesario.

Figura 10: Películas en el estante del medio.

Un par de ellas correctas.

Como podéis ver, hace la búsqueda correcta utilizando las capacidades cognitivas de visión artificial, y reconoce la lista de las películas, con los años en concreto de cada una de ellas, entregándome la lista completa.

Figura 11: Películas en el estante inferior

Y no, no son del año 1998 como se supone que deberían ser, así que tenemos un gazapo apócrifo cochino en la serie, que no es que sea importante para disfrutar la serie, pero que a un friqui con TOC como yo, que disfruta con estas cosas, me hace gracia poder pillarlo usando Inteligencia Artificial tan rápidamente. Eso sí, para mí no son fallos, sino "Easter Eggs" que nos dejan los creadores de contenidos para que podamos jugar, así que más que agradecido que nos dejen estos mensajes ocultos, que yo lo hago constantemente en mis posts. En este también hay uno.

Figura 12: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Agentic Internet y Captchas Cognitivos con MM-LLMs

Esta semana pasada, hablando con uno de los ingenieros más top aquí en Cloudflare, hablábamos del Agentic Internet y los Captchas Cognitivos - que hemos estado en la Agentic Week y ha sido un avalancha de cosas -. Hemos pasado de diseñar interfaces de usuario creados para humanos "Human First" a un mundo de automatización con evoluciones hacia "API First" para que las capacidades sean disfrutadas por servicios digitales, y ahora a "MCP & Agentic First" haciendo que las utilidades sean Command Line Interface (modo texto) y que las respuestas sean en formatos JSON y Markdown para garantizar el entendimiento fácil de los MultiModal LLMs. 

Figura 1: Agentic Internet y Captchas Cognitivos con MM-LLMs

Pero en el camino nos encontramos que aún estamos en esa fase de migración, y muchos de los servicios de Internet diseñados "Human First" mantienen los Captchas Cognitivos para dificultar la automatización. Sorprendentemente, ahora queremos que nuestros Agentes IA utilicen esas capacidades en nuestro nombre, pero no tienen API, MCP o CLI y hay que hacer que lo usen lidiando con el Captcha Cognitivo. 

Figura 2: Planes empresariales para resolución

de Captchas Cognitivos vía API

Hablando de esto con mi compañero, le estaba explicando cómo este problema en el mundo del crimeware hace tiempo que lo tienen resuelto, y todo lo que hemos estado publicando por aquí para saltar los Captchas Cognitivos con MM-LLMs, teniendo en cuenta Captchas visuales, auditivos, de reconocimiento de cosas, o de resolución de problemas.

• Inteligencia Artificial y el negocio de resolver "Capthas Cognitivos" para el Cibercrimen
• Captcha Cognitivo de Twitter (X) con GPT4-Vision & Gemini
• Captcha Cognitivo de Twitter (X) con Anthropic Claude 3.0 Opus
• Captcha Cognitivo de Twitter (X) con GPT-4o
• Captcha Cognitivo de Administración Pública con ChatGPT
• Captcha Cognitivo de la mano y la plancha en HBO max
• Captcha Story X: I am not a Robot, I am a GenAI Multimodal Agent
• Reto hacking con un Captcha Cognitivo para romper con GenAI
• Solución al Reto de Hacking de un Captcha Cognitivo Visual
• Anthropic Claude 3.5 Sonnet & Cognitive Captchas
• LinkedIN + ChatGPT: El Captcha Cognitivo del Objeto Descolocado
• Captcha Cognitivo de Twitter / X de Sentar Personas Correctamente: Probando con ChatGPT & Gemini
• Cómo resolver los Captchas Cognitivos Visuales y Auditivos de GitHub con Gemini (o cualquier MM-LLM) sin despeinarte
• Captchas Cognitivos: Más fácil con IA que con ojos

Sin embargo, cuando hablamos de esto, el debate era si el MM-LLM iba a dejar resolver el Captcha Cognitivo o no. Y por supuesto, la respuesta es que si el MM-LLM tiene un System Prompt con Guardrails preparado para el mundo B2C y B2B seguramente no permita esto, y hay que hacer un poco de Jailbreak, pero nada complicado.

Figura 3:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Al final, como veíamos en el último ejemplo de Jailbreak con Nano Banana y el test de COVID, con cambiar el foco del trabajo, es más que suficiente hoy en día. Veremos en el futuro. Pero lo cierto es que si le pides que te ayude a automatizar la resolución de Captchas Cogntivos - por ejemplo a Gemini - te dice que no está diseñado para eso y que no puede ayudarme por sus controles de seguridad.

Figura 4: "Yo no puedo resolver Captchas directamente en tiempo real por ti"

Por supuesto. Hay que pedírselo de otra forma, pero no demasiado diferente. Por ejemplo, en este Captcha Cognitivo que me ha salido en una web, hay que seleccionar los parking slots libres. Si dejas al MM-LLM tirar millas solo, puede suceder como podéis ver aquí, que no lo resuelve bien. Eso sí, no se niega.

Figura 5: ¿Me ayudas a resolver este puzzle?

Como podéis ver, hay un espacio libre arriba, y dos abajo, pero dejando a Gemini intentar resolverlo completamente por sí mismo, tiene una Hallucination y toma como que arriba hay 6 plazas de parking y abajo hay 4. Si estuviéramos en Móstoles o Madrid, seguro que arriba hay 6 o más y abajo 6 o más, pero en este mundo de colores, hay cuatro arriba y cuatro abajo.

Figura 6: Resuelve bien, pero no define bien las plazas de parking arriba

Para evitar esto, lo que hacen todos los que proveen APIs de resolución de Captchas, este tipo de Captchas Cognitivos los analizan como familia y guían al MM-LLM con el trabajo exacto que quieren hacer, en este caso sería algo como esto.

Figura 7: Instruyendo al MM-LLM para que no alucine

Y listo, los resultados listos para devolver en un API que puedas entregar a tu Agente IA cuando necesite resolver este tipo de Captchas Cognitivos.

Figura 8: Respuesta correcta, Comma Separated

Al final, lo que hacen estas APIs de resolución de Captchas Cognitivos es reconocer el tipo de Captcha que hay que resolver, que tampoco son tantos, y para cada uno de ellos tener a sus MM-LLMs o incluso cosas más sencillas, preparados para resolverlo de forma única. Otro caso similar, mismo Prompt.

Figura 9: Mismo Captcha Cognitivo,  Distinto Problema, Mismo Prompt

Al final, es como resolver un Cubo de Rubik. Es un problema cognitivo complejo pero que se resuelve de pocas formas. Conocida una forma, da igual cómo te den las piezas, se resuelve igual. Lo mismo sucede con los Captchas Cognitivos que estamos resolviendo hoy en día.

Figura 10: At your service

Esto de los Captchas Cognitivos, con el mundo del Agentic AI aquí, donde tenemos más de un 30% del tráfico mundial HTTP generado por Bots - y creciendo - tenemos que repensarlo. ¿Es esta la solución tecnológica que queremos para el Agentic Internet?

Figura 11: Datos de Bot Traffic en Radar de Cloudflare

Está claro que este mundo está cambiado muy rápidamente y que vamos a tener que transformar todas las piezas tecnológicas que tenemos en Internet, porque esta revolución de Agentic Internet es más grande y más profunda que las anteriores de Human Internet, Mobile Internet, Voz, VR o API First. Los Agentes IA están comiéndose el escenario, y puede que un par de años el tráfico humano solo sea entre una persona y sus agentes, veremos.

Figura 12: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)