Agentic Internet y Captchas Cognitivos con MM-LLMs

Esta semana pasada, hablando con uno de los ingenieros más top aquí en Cloudflare, hablábamos del Agentic Internet y los Captchas Cognitivos - que hemos estado en la Agentic Week y ha sido un avalancha de cosas -. Hemos pasado de diseñar interfaces de usuario creados para humanos "Human First" a un mundo de automatización con evoluciones hacia "API First" para que las capacidades sean disfrutadas por servicios digitales, y ahora a "MCP & Agentic First" haciendo que las utilidades sean Command Line Interface (modo texto) y que las respuestas sean en formatos JSON y Markdown para garantizar el entendimiento fácil de los MultiModal LLMs. 

Figura 1: Agentic Internet y Captchas Cognitivos con MM-LLMs

Pero en el camino nos encontramos que aún estamos en esa fase de migración, y muchos de los servicios de Internet diseñados "Human First" mantienen los Captchas Cognitivos para dificultar la automatización. Sorprendentemente, ahora queremos que nuestros Agentes IA utilicen esas capacidades en nuestro nombre, pero no tienen API, MCP o CLI y hay que hacer que lo usen lidiando con el Captcha Cognitivo. 

Figura 2: Planes empresariales para resolución

de Captchas Cognitivos vía API

Hablando de esto con mi compañero, le estaba explicando cómo este problema en el mundo del crimeware hace tiempo que lo tienen resuelto, y todo lo que hemos estado publicando por aquí para saltar los Captchas Cognitivos con MM-LLMs, teniendo en cuenta Captchas visuales, auditivos, de reconocimiento de cosas, o de resolución de problemas.

• Inteligencia Artificial y el negocio de resolver "Capthas Cognitivos" para el Cibercrimen
• Captcha Cognitivo de Twitter (X) con GPT4-Vision & Gemini
• Captcha Cognitivo de Twitter (X) con Anthropic Claude 3.0 Opus
• Captcha Cognitivo de Twitter (X) con GPT-4o
• Captcha Cognitivo de Administración Pública con ChatGPT
• Captcha Cognitivo de la mano y la plancha en HBO max
• Captcha Story X: I am not a Robot, I am a GenAI Multimodal Agent
• Reto hacking con un Captcha Cognitivo para romper con GenAI
• Solución al Reto de Hacking de un Captcha Cognitivo Visual
• Anthropic Claude 3.5 Sonnet & Cognitive Captchas
• LinkedIN + ChatGPT: El Captcha Cognitivo del Objeto Descolocado
• Captcha Cognitivo de Twitter / X de Sentar Personas Correctamente: Probando con ChatGPT & Gemini
• Cómo resolver los Captchas Cognitivos Visuales y Auditivos de GitHub con Gemini (o cualquier MM-LLM) sin despeinarte
• Captchas Cognitivos: Más fácil con IA que con ojos

Sin embargo, cuando hablamos de esto, el debate era si el MM-LLM iba a dejar resolver el Captcha Cognitivo o no. Y por supuesto, la respuesta es que si el MM-LLM tiene un System Prompt con Guardrails preparado para el mundo B2C y B2B seguramente no permita esto, y hay que hacer un poco de Jailbreak, pero nada complicado.

Figura 3:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Al final, como veíamos en el último ejemplo de Jailbreak con Nano Banana y el test de COVID, con cambiar el foco del trabajo, es más que suficiente hoy en día. Veremos en el futuro. Pero lo cierto es que si le pides que te ayude a automatizar la resolución de Captchas Cogntivos - por ejemplo a Gemini - te dice que no está diseñado para eso y que no puede ayudarme por sus controles de seguridad.

Figura 4: "Yo no puedo resolver Captchas directamente en tiempo real por ti"

Por supuesto. Hay que pedírselo de otra forma, pero no demasiado diferente. Por ejemplo, en este Captcha Cognitivo que me ha salido en una web, hay que seleccionar los parking slots libres. Si dejas al MM-LLM tirar millas solo, puede suceder como podéis ver aquí, que no lo resuelve bien. Eso sí, no se niega.

Figura 5: ¿Me ayudas a resolver este puzzle?

Como podéis ver, hay un espacio libre arriba, y dos abajo, pero dejando a Gemini intentar resolverlo completamente por sí mismo, tiene una Hallucination y toma como que arriba hay 6 plazas de parking y abajo hay 4. Si estuviéramos en Móstoles o Madrid, seguro que arriba hay 6 o más y abajo 6 o más, pero en este mundo de colores, hay cuatro arriba y cuatro abajo.

Figura 6: Resuelve bien, pero no define bien las plazas de parking arriba

Para evitar esto, lo que hacen todos los que proveen APIs de resolución de Captchas, este tipo de Captchas Cognitivos los analizan como familia y guían al MM-LLM con el trabajo exacto que quieren hacer, en este caso sería algo como esto.

Figura 7: Instruyendo al MM-LLM para que no alucine

Y listo, los resultados listos para devolver en un API que puedas entregar a tu Agente IA cuando necesite resolver este tipo de Captchas Cognitivos.

Figura 8: Respuesta correcta, Comma Separated

Al final, lo que hacen estas APIs de resolución de Captchas Cognitivos es reconocer el tipo de Captcha que hay que resolver, que tampoco son tantos, y para cada uno de ellos tener a sus MM-LLMs o incluso cosas más sencillas, preparados para resolverlo de forma única. Otro caso similar, mismo Prompt.

Figura 9: Mismo Captcha Cognitivo,  Distinto Problema, Mismo Prompt

Al final, es como resolver un Cubo de Rubik. Es un problema cognitivo complejo pero que se resuelve de pocas formas. Conocida una forma, da igual cómo te den las piezas, se resuelve igual. Lo mismo sucede con los Captchas Cognitivos que estamos resolviendo hoy en día.

Figura 10: At your service

Esto de los Captchas Cognitivos, con el mundo del Agentic AI aquí, donde tenemos más de un 30% del tráfico mundial HTTP generado por Bots - y creciendo - tenemos que repensarlo. ¿Es esta la solución tecnológica que queremos para el Agentic Internet?

Figura 11: Datos de Bot Traffic en Radar de Cloudflare

Está claro que este mundo está cambiado muy rápidamente y que vamos a tener que transformar todas las piezas tecnológicas que tenemos en Internet, porque esta revolución de Agentic Internet es más grande y más profunda que las anteriores de Human Internet, Mobile Internet, Voz, VR o API First. Los Agentes IA están comiéndose el escenario, y puede que un par de años el tráfico humano solo sea entre una persona y sus agentes, veremos.

Figura 12: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Cómo WebScrapear al WebScraper que ya WebScrapeó sin que tengas que hacer WebScraping

En toda esta batalla por de quién son los datos de la Web pública, donde muchos generadores de contenido están comenzando a bloquear. las bots de los principales modelos de IA, o a utilizar herramientas de cobro por acceso a contenido como Pay per Crawl, hay una técnica que está utilizando mucha gente, que es pedirle los datos al modelo de IA que él ya ha "WebScrapeado".

Figura 1: Cómo WebScrapear al WebScraper que ya WebScrapeó

sin que tengas que hacer WebScraping

Con toda esta polémica puedes ver cómo ciertos medios, como por ejemplo El Mundo, ya restringe su contenido para las arañas de Internet, que están haciendo su negocio de Answering Machine y de Comercialización de APIs - que dan datos - para generar sus ingresos.

Figura 2: El periódico El Mundo bloquea el acceso a los bots de IA

Pero igual que ellos han hecho su modelo con la captura de los datos de la Web, muchas aplicaciones están haciendo lo mismo con ellos. 

Figura 3: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Basta con pedirle que te de los datos ya filtrados y formateados. Eso sí, tienes que tener cuidado con los límites de tokens que responden, así que puede que tengas que pedirlos por partes, y puede que tengan detección de "abuso", pero al final, se supone que un API comercial de un modelo de IA se paga porque te da respuestas.

Figura 4: Un JSON con datos sin WebScrapear nada

Por ejemplo, aquí podéis ver que le he pedido un JSON con los datos de la Primera Plantilla del Real Madrid C.F. con los datos que me han parecido bien, para utilizar en mis cosas. Son datos que él ha sacado de "dónde sea", y que son accesibles vía esta API, así que .. ¿para que WebScrapear por ahí?

Figura 5: Un Script para WebScrapear sin WebScrapear usando ChatGPT

Si quisieras los datos de todos los jugadores de LA LIGA de este año tendrías que primero pedir los datos de los clubs, luego ir pidiendo uno a uno los datos de todas las plantillas por separado, y en unos minutos, listo, ya tienes todos los datos. Además, le puedes pedir que te haga el Script en Python para pedírselo a ChatGPT.

Figura 6: El Script en Python para sacar los datos de ChatGPT

Estos datos no tendrían los cambios de última hora, sino los que hubiera en el último WebScraping que hiciera su bot. Pero seguro que para mucho de lo que necesitas en un determinado servicio es más que suficiente, ¿verdad? 

Figura 7: Pidiéndole el JSON de los "Irons" a DeepSeek

Lo mismo, ahora con los datos de los discos de los Iron Maiden, aunque como son muchos, hay que hacerlo poco a poco, o por tipos, pero la verdad es que es increíble como se construye una base de datos sin pasar por "No soy un robot", luchar con captchas, etc.. 

Figura 8: Marchado un JSON

Esto da mucho que pensar, sobre todo porque estos datos iniciales están en una web que un bot para hacer AI ha WebScrapeado, pero que comercializa vía API o vía Suscripción a la Answering Machine, y donde el que los genera no es parte del negocio. Da que pensar, ¿no?

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

MetaShield Protector Clean-UP Online & Analyzer

Ha pasado justo un mes desde que tuvimos nuestro Security Innovation Day 2016, pero aún no he terminado de contaros todas las novedades de seguridad que anunciamos allí. Hoy quiero hablar de otra actualización que hicimos en la familia de productos Metashield Protector. En este caso con Metashield Protector Clean-Up Online y Metashield Analyzer.

Figura 1: Metashield Protector Clean-Up Online & Analyzer

Como ya sabréis los que llevéis leyendo tiempo este blog, MetaShield Protector es un producto que creamos para evitar que hubiera fugas de información de datos sensibles de la empresa a partir de metadatos e información oculta en documentos ofimáticos que salen de la organización. Cada vez que se edita o se crea un documento, éste almacena información del equipo y/o la red desde donde se editó, llevándose información de software, direcciones IP, nombres de usuario, etcétera. 

Figura 2: Familia de productos de Metashield Protector

Para evitar esto creamos una familia de productos denominada Metashield Protector que revisan los documentos antes de que salgan de la organización. Desde la versión Client para eliminar los metadatos manualmente, hasta la versión Metashield Protector for Exchange que elimina las fugas de información en los archivos que salen como adjuntos de los correos electrónicos de la organización, pasando por la versión para MS Outlook, para Office 365, para los servidores de ficheros, o los servidores web.

Figura 3: Demo de Metashield para Office 365

La familia ha crecido mucho, e incluso se ha integrado en soluciones como Fortinet, donde cada documento que pasa por el firewall es enviado vía ICAP al motor de Metashield Protector para que sea limpiado, tal y como se ve en la demostración de 4 minutos que tienes en el vídeo.

Figura 4: Demostración de Metashield for ICAP integrado con Fortinet

Ahora, completamos el círculo con la versión Metashield Protector Clean-Up Online y con Metashield Analyzer, donde lo que hemos hecho ha sido crear una versión en modo portal web con una integración que puede recibir las peticiones vía API JSON para que desde cualquier rincón de tu organización, desde cualquier sistema, se pueda enviar un documento y recibir tanto el documento limpio, como los metadatos y la información oculta que se encontraba en él.

Figura 5: Metashield Clean-Up Online

Con estos dos productos, ampliamos un poco más la familia y permitimos a los clientes que puedan integrar la limpieza de documentos en los procesos de negocio que ellos quieran de la forma que quieran, además de darle a los administradores y consola centralizada para gestionar las fugas de información que se producen en sus empresas por medio del flujo de documentos.

Saludos Malignos!

¿He sido hackeado? Un Bolt para Sinfonier y 3.000 USD

Hace no mucho tiempo que se ha habilitado el servicio He sido hackeado, una plataforma muy similar en concepto a la versión en inglés de Have I been Pwned? de la que he hablado muchas veces. El concepto consiste, en este caso, en recoger direcciones de correo electrónico que hayan podido ser filtradas no solo en grandes robos de bases de datos de identidades - incluyendo la de Ashely Madison que está vetada en otros sitios -, sino también añadir fugas de información masivas, como la de los correos de Hacking Team, o en pequeñas cantidades vía pastes, foros y redes diversas.

Figura 1: ¿He sido hackeado? Un Bolt para Sinfonier y 3.000 USD

Eso hace que a día de hoy cuente con una base de datos con más direcciones de correo electrónico que la página pionera en este concepto. Tiene una API abierta que se consulta de forma muy sencilla, devolviendo en un JSON no solo los datos de dónde se hizo la filtración, sino dando además los detalles concretos dentro de ella.

Figura 2: Fichero JSON de respuesta con datos de una filtración

Es decir, con los resultados se puede localizar el paste donde se publicó o la base de datos donde se encontró y la posición exacta de esa dirección de correo dentro de la filtración, lo que hace que sea muy útil para hacer investigaciones. Si además esta información está disponible en una URL de Internet tendremos el enlace directo a ella.

Figura 3: Detalle de una fuga de información con el lugar donde se ha producido.
421 GB de fugas de información.

La API no necesita ni autenticación ni nada similar, así que se puede integrar fácilmente con cualquier servicio que se esté realizando y, como prueba de concepto, uno de nuestros compañeros en ElevenPaths ha hecho un Bolt para Sinfonier que hace uso de esta API. En el siguiente vídeo se puede ver cómo se puede integrar ya en las topologías de Sinfonier el consumo de esta API de forma sencilla.

Figura 4: Vídeo de Bolt en Sinfonier para el servicio "¿Me han hackeado?"

Al final, el poder consultar si un correo electrónico ha sido filtrado en Internet puede ayudar a mejorar la calidad de las tomas de decisión en muchos procesos de negocio, pero también a detectar una fuga de datos, un ataque a una organización o un bug en un sistema, por lo que tiene utilidad. Recuerda que con Sinfonier se pueden hacer cosas tales como controlar un bot de Telegram usando Latch. En este libro de Sinfonier para ciberseguridad tienes todos los detalles de la plataforma.

Figura 5: Sinfonier Community Contest '15

Si a partir de este Bolt, y utilizando Sinfonier, se te ocurren mejores Bolts o alguna Topología interesante de Sinfonier, recuerda que tenemos lanzado el Sinfonier Community Contest 2015, con lo que podrás ganar hasta 3.000 USD por tu mejor Bolt y 3.000 USD por la mejor Topología, así que anímate a hacerlo. En la Comunidad de Eleven Paths puedes consultar, preguntar y debatir sobre cualquier detalle que necesites referente a esto.

Saludos Malignos!