Cloudflare Radar: Bots Verificados & Signed Agents Identificados con Web Bot Auth

Uno de los proyectos más bonitos que tiene Cloudflare es Radar,  - desde que me uní a esta compañía cada día me gusta más -, tiene a su equipo de ingeniería en las oficinas de Cloudflare en Lisboa, donde además tienen los creadores de caos para generar números aleatorios basados en olas de agua, que luego son utilizados en los servicios de seguridad la empresa.

Figura 1: Cloudflare Radar - Bots Verificados & Signed Agents

Identificados con Web Bot Auth

Y uno de los temas en los que más ha estado trabajando Cloudflare Radar es en traer mucha más visibilidad al mundo de la Inteligencia Artificial, y en concreto al mundo de los Agentic AI, para poder tomar decisiones de seguridad en un mundo de Internet que poco a poco se convierte en una campo donde humanos y bots conviven a todas horas, alcanzando ya los bots casi el 30% del tráfico generado en la red.

Figura 2: Bots en Cloudflare Radar

Como podéis ver, el equipo liderado por Sam Rhea, ha actualizado recientemente el apartado de Bots en Cloudflare Radar, para poder tener mucha más información de lo que está sucediendo en Internet con los Bots en Internet. 

Figura 3: Origen del tráfico de bots visualizado por la red de Cloudflare

Como podéis ver, por la red de Cloudflare el mayor generador de tráfico de bots es Estados Unidos, con un 40% del total que circula por la red, lo que indica claramente un desarrollo tecnológico en este área predominante, y una captura de datos enorme que circula de la red a estos sistemas.

Figura 4: Porcentaje de tráfico de bots por países

Mirando las estadísticas por países, se puede ver que nuestra querida España está en el puesto 23 en la generación y el uso de estos motores para capturar datos que entrenen o alimenten los modelos, productos y/o servicios creados con Inteligencia Artificial. Se ve que Europa genera mucho menos tráfico, donde afectan muchos factores - que darían para un largo debate -, pero que hoy dejamos en lo cuantitativo nada más.

Bots Verificados

Para entender mejor qué y quién, el equipo de Research y el equipo de Radar han estado trabajando duramente estos meses atrás - en el mes de Agosto también - para tener una lista de los Bots Verificados identificados por su Web Fingerprint, o lo que es lo mismo, para saber por la huella digital de la petición qué bot es el que está haciendo las peticiones.

Figura 5: Verified Bots en Cloudflare Radar

Para que os hagáis una idea, hoy en día hay identificados 481 diferentes Verified Bots, donde se mira la petición y la dirección IP de origen que están utilizando para hacer "crawling" de Internet, e incluso detectar cuando alguno hace algo de "cloacking". 

Figura 6: Lista de bots Verificados

Todos ellos están en un catálogo en un Bots Directory de Verified Bots, donde se puede obtener información de todos y cada uno de ellos, y donde se obtienen detalles sobre el uso que hacen - supuestamente - con los datos que están recogiendo de las webs.

Figura 7: Bots Directory

Por ejemplo, si queremos ver la información del bot usado por Brave, podemos verlo en detalle haciendo clic sobre él y viendo no sólo su ficha con su Web Fingerprinting sino el historial de tráfico de los mismos, lo que te puede ayudar a crear nuevas opciones de seguridad y protección para tus sitios.

Figura 8: Ficha de Bravebot, el Bot de Brave

Pero estos son sólo Bots Verificados, y alguien podría suplantar estas peticiones u ocultarse desde otra dirección IP, haciendo cloacking, ocultando sus Web Fingerprint, y por eso se está trabajando en incrementar el nivel de seguridad, con Bots Identificados que usan peticiones firmadas.

Signed Agents identificados con Web Bot Auth

Hace no demasiado habló nuestro amigo Samuel López Trenado de la importancia en Ciberseguridad de gestionar las Non-Human Identities. Lo hizo en el artículo titulado: "Identidades NO Humanas (NHI "Non-Human Identities"): La Gestión de un Riesgo de Seguridad Emergente", y por supuesto tener identificados a los bots que consumen tus datos y tus servicios es fundamental para diseñar una estrategia de seguridad.

Figura 9: HTTP Message Signatures for automated traffic Architecture

Para ello, el grupo de trabajo de Web Bot Auth, en el que trabaja el equipo de Cloudflare muy activamente está impulsando el uso de firmas digitales para identificar a los agentes y bots, más allá de su dirección IP y su Web Fingerprint.

Figura 10: Formulario para enviar información de un bot o un Signed Agent 

(Verificado o Identificado con firma digital)

Con el objeto de dar claridad a los servicios de Internet, y poder garantizar el buen uso de los activos y hacer un uso responsable del tráfico automático generado por bots, hay un formulario de envío de información de bots, donde cualquier usuario de Cloudflare puede identificar su bot. Todos aquellos que utilicen el sistema de Web Auth Bot, aparecerán como Signed Agents.

 

Figura 11: Signed Agents Identificados con Web Auth Bot en Cloudflare Radar

Y si quieres tener información de uno de ellos, igualmente puedes acceder a su ficha, como en el caso de ChatGPT Agent, donde tendrás detalles del tráfico e info de su utilización.

Figura 12: Ficha de ChatGPT Agent "Signed Agent" en Cloudflare Radar

Estos Signed Agent, deben seguir el estándar de Web Auth Bot en todas sus peticiones, que es ya parte de la arquitectura de la red de Cloudflare para poder identificarse correctamente. Los detalles en el documento de definición citado de HTTP Message Signatures for automated traffic Architecture.

Figura 13: HTTP Message Signatures for automated traffic Architecture

Este tipo de identificación robusta de las Non Human Identities basadas en Bots & Agentes AI es fundamental para el mundo que se nos viene, que cada vez va a ser más importante, porque su tamaño va a ser mayor.

Figura 14: Evolución del tráfico de bots en el último año

Si miramos la evolución del tráfico de bots en el último año, podemos ver claramente una pendiente creciente de este tipo de tráfico... que puede ser bueno o malo, beneficioso o dañino para cada uno de los sitios de Internet.

Más en Cloudflare

Os dejo por aquí algunos artículos sobre tecnologías de Cloudflare que tal vez os gusten, que he publicado en el blog en los últimos meses:

• Cloudflare Radar: Open (Security & Network) Data para CERTs & CSIRTs
• Cloudflare Pay-Per-Crawl: Un servicio que ayuda a las webs a negociar el pago por acceso al contenido que hacen los crawlers de IA
• Tu WebSite con Smart Honeypots contra el WebScrapping usando AI Labyrinth de Cloudflare

Ya os iré contando, día a día, poco a poco, muchas más cosas cuando toque, pero si quieres, puedes venirte tú a verlo de primera mano, que la compañía está en pleno crecimiento y tenéis abiertas más de un centenar de posiciones para todos aquellos que améis la tecnología. 

Figura 15: Posiciones abiertas para trabajar en Cloudflare

Y  si quieres ver realmente lo que los equipos construyen, puedes echar un ojo diario al blog de Cloudflare, donde tienes artículos diarios sobre la tecnología que construyen, lo que está pasando en Internet, y los proyectos en los que los equipos están trabajando. 

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)