Mostrando entradas con la etiqueta Cognitive Services. Mostrar todas las entradas
Mostrando entradas con la etiqueta Cognitive Services. Mostrar todas las entradas

viernes, octubre 30, 2026

Cómo evitar fugas de documentos con un "DLP AI" para ficheros de imágenes con Cloudflare Workers AI y Clef

Estando en Argentina me preguntaron por una capacidad de los Guardarraíles para DLP de Cloudflare. "¿Cómo evitamos que los usuarios envíen documentos gráficos con DNIs, Pasaportes o tarjetas de Crédito?" La idea es sencilla, y no es una opción por defecto en muchos DLPs, pero es que hoy en día en los Guardarraíles, o en los WAF, o en el CASB de la plataforma de Cloudflare puedes hacer una llamada a un Worker y correr cualquier check que quieras, y con la llegada de los Modelos de Decisión como Cloudflare Clef, esto es muy sencillo de realizar.
Así que le puse a mi "wingman" en Cloudflare, el gran Carlos Luengo, un audio que le decía algo así como "Su misión, en caso de aceptarla, consiste en hacer un Worker AI que reciba una imagen, la pase por Clef y nos diga si es un leak de un documento oficial (DNI o Passport) o una tarjeta de crédito." Así que nada, en lo que dura un ping a Cloudflare , con el Vibe Coding hizo una PoC llamada Visor muy sencillita.
La arquitectura utiliza las piezas de Cloudflare para construir en el Edge, y la podéis probar vosotros mismos, ¿quién necesita una región en la cloud para esto cuando tienes Region Earth en Cloudflare? Utilizar Turnstile y Precursor para evitar los bots, luego un Worker para validar la imagen que sube, un Worker AI para hacer la ejecución de Clef, y el almacenamiento de imágenes para las pruebas en R2 y D1 para tener la información en tablas y un registro de las decisiones tomadas, que pueda servir para ajustar la configuración de las decisiones.
El resultado es VISOR, una web con la PoC muy sencilla, en la que puedes subir la imagen y probar la decisión. Sube imágenes fake creadas para esto que Internet está lleno, y en unos milisegundos tienes la respuesta en la misma web.
Yo lo he probado con todo tipo de imágenes, y lo ha hecho muy bien, pero si quieres probar esto en tu entorno y antes testearlo - como hemos hecho nosotros - puedes hacer que procese batches, en nuestro caso lo hemos hecho con imágenes que hemos cargado con URLs desde búsquedas en la web, y el resultado es perfecto.
La programación de este servicio en TypeScript es menos de un centenar de líneas, y lo puedes pedir a tu AI Coder favorito, que al final la llamada a CLEF (que es multi-modal y toma decisión con modelos de visión), es tan sencilla como está parte.
Y luego, una vez cargado el análisis - en este ejemplo hecho por mí solo he tenido en cuenta DNI y Pasaporte, pero puedes añadir el que quieras - tomas la decisión adecuada a cada uno de ellos.
Así que si quieres, puedes hacerte este Worker AI con Clef y meter este DLP en todos los puntos de control que desees. En el SGW, en el CASB, en el eMail Security, en los Guardrrailes, etcétera. La capacidad se puede consumir desde dónde tú quieras. Esta en el Edge mundial de Cloudflare, a 50 milisegundos en media en todo el mundo.
Y si has entendido esta prueba, imagina la cantidad de controles de seguridad que puedes poner en todos los procesos de tu organización, y en todos los servicios digitales que tienes añadiendo checks de seguridad con Clef.  En este vídeo tenéis el proceso completo, y los valores devueltos por Clef para todas las imágenes en la prueba individual y en Batch.

¿Se te ocurren controles de seguridad en llamadas telefónicas de tu Contact Center, en chats con clientes, en ficheros del sistema, en mensajes de email enviados y recibidos? A mí sí, y seguro que a ti también se te ocurren muchas ideas al respecto.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


lunes, septiembre 28, 2026

La transcripción Speech-to-Text Client-Side que no puntúa correctamente por no usar un LLM-MM

No soy mucho de enviar audios por las aplicaciones de mensajería. Lo hago sólo con amigos, y gente muy cercana, pero no me gusta mucho usar la voz. Va demasiado de mí en los audios. Sin embargo, es mucho más rápido que escribir. Pero... ¿por qué no usar el Speech-To-Text del smartphone? Pues porque no suelo tener buena experiencia con la puntuación. Eso es lo que estaba pensando ayer domingo, trabajando viendo el puente del 25 de Abril de Lisboa, así que quise probar si, con la llegada de los LLMs Multi Modales, había mejorado.

Figura 1: La transcripción Speech-to-Text Client-Side que
no puntúa correctamente por no usar un LLM-MM

Primera prueba, usando Twitter/X en iOS, y el botón de Speech-To-Text del teclado del iPhone 17 Pro Max que tengo, con un mensaje muy sencillo. Aquí tenéis el resultado, muy al estilo de los primeros Cognitive Services del año 2016 (si no anteriores). Han pasado 10 años ya para seguir con esta calidad.

Figura 2: Speech-to-Text del teclado de iPhone.
No pone el punto ni las interrogaciones. Ni una coma.
Six-Seven nada más.

Lo siguiente que hice fue probarlo en Gemini, pero ahora pidiéndole que me lo hiciera bien con un Prompt y subiéndole un audio, para que hiciera todo el proceso en backend (Server-Side). El resultado es muy bueno, que es lo que yo estoy esperando de un Speech-to-Text en el terminal móvil.

Figura 3: Gemini lo borda. Correcto.

Así que, como lo hizo muy bien Gemini, que es un LLM-MM, le pregunté por qué la soluciones Speech-To-Text en Smartphone tienen tantas carencias a la hora de poner las puntuaciones correctas, y aquí está la explicación que me dio.

Figura 4: Problemas del Speech-to-Text para puntuar correctamente.

Por supuesto, la primera es que no se dictan los puntos y las comas, ni las interrogaciones o exclamaciones. Evidente, pero en el mundo que estamos hoy en día, los modelos de IA reconocen las entonaciones con facilidad, así como se hace el análisis de sentimiento, que de eso hemos hablado mucho. Basta con un clasificador de Machine-Learning para hacer eso.

Figura 5: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

Lo siguiente que dice es que las pausas pueden ser ambigüas, bueno, pero se puede hacer mejor que lo que se hace ahora. También dice que puede afectar la diferente forma de entonar que se tiene o que el contexto puede ser indeterminado. Además del uso de fórmulas habladas, como las muletillas. Nada, no se lo compro, debería ser mucho mejor que esta prueba que he hecho con Notas de iPhone.

Figura 6: Ni una puntuación.

Visto esto, le pregunté a Gemini, si estos problemas existen, cómo es posible qué él lo hubiera hecho tan bien con el audio que le había subido, y la respuesta se resume en... Yo soy un LLM-MM de primer nivel, para mí es trivial.

Figura 7: La respuesta de por qué lo hace él tan bien

Por supuesto, hay una diferencia fundamental entre hacer un análisis en tiempo real del flujo de audio en "stream" a hacerlo con el fichero completo en "bloque", pero aún así es muy mejorable. De hecho, este Prompt se lo he subido usando el Speeh-To-Text en Google Chrome en la webapp de Gemini - ejecutándose el Client-Side - , y la verdad que lo hace muy bien.

Figura 8: Usando el Speech-To-Text de Gemini en Google Chrome Client-Side

Lo dicho, creo que si estos sistemas de Speech-To-Text en Client-Side funcionara mejor - que estamos en la era ElevenLabs y traducción en tiempo real de conversaciones, la gente haría menos uso de los envíos de audios, y sería un avance para los usuarios, porque a veces hay que escribir textos muy largos por no enviar el audio a una persona que no se quiere enviar.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


sábado, junio 20, 2026

Coloratura: Una aventura narrativa guiada a través del sonido

Normalmente, cuando pensamos en un videojuego, lo primero que nos viene a la mente son los FPS, los polígonos y lo memorables (o no) que son los gráficos. El sonido suele ser el acompañante, el tipo que pone la música de fondo mientras tú te fijas en las texturas. Pero, ¿qué pasa si decides que el sonido sea el núcleo del gameplay y la única forma de procesar el mundo?

Figura 1: Coloratura - Una aventura narrativa guiada a través del sonido

Pues de eso mismo venimos a hablar hoy. Somos Nakama Game Studio, un estudio indie español, y estamos acercándonos al lanzamiento de un proyecto que se salta unas cuantas “normas” de los videojuegos: Coloratura.

¿Que de qué va esto? Pues de atreverte a dejar de lado los paradigmas tradicionales del diseño de videojuegos, ponerte unos cascos, cerrar los ojos y comprobar cómo de sencillo o complicado te resulta guiarte exclusivamente por el sonido.

Figura 2: Coloratura

En Coloratura asumirás el papel de Alex, una música que pierde la visión debido a un accidente. La acompañarás en el proceso de adaptarse a su nueva realidad, desde tareas cotidianas como orientarse por su barrio o hacerse un café, hasta adaptarse a crear música de nuevo para cumplir su sueño.

Los puntos que lo hacen especial (y un reto tecnológico)

Si crees que esto es una simple audioguía interactiva o un audiojuego, estás muy equivocado. Hay tres pilares que separan a Coloratura de cualquier otra cosa que hayas probado:

1. Navegación 3D a través del sonido: A diferencia de otros audiojuegos que limitan el movimiento, Coloratura permite exploración libre en 3D. Te orientas mediante audio 3D binaural, detectando distancias, direcciones y resonancias. Hemos creado lo que llamamos un “paisaje sonoro” para que el jugador pueda orientarse y completar los objetivos sin depender de guías visuales.

2. Mecánicas de radar y memoria: Digamos que prácticamente hemos creado un lenguaje nuevo en lo que se refiere a orientación en un videojuego. Ya que no hay las típicas guías de objetivos visuales, hemos creado un sistema que permite a Alex detectar objetos a distancia mediante un radar sonoro. 
 
La mecánica de memoria permite que esos objetos, una vez encontrados, permanezcan guardados para que el jugador pueda volver a ellos fácilmente. Como un sistema de objetivos y guías de un videojuego tradicional, pero exclusivamente basado en el sonido.
3. Puzles que construyen música: A estas alturas ya os habréis dado cuenta del patrón en Coloratura, ¿verdad? Pues efectivamente, los puzles tampoco son visuales (de hecho, los únicos assets visuales en el juego más allá del tutorial son ilustraciones estáticas). 
 
Para resolver estos retos tendrás que afinar el oído. Y, conforme vayas resolviéndolos, irás tejiendo la banda sonora del juego, que evoluciona con tus decisiones y el progreso de Alex.

¿Y por qué deberías jugar Coloratura?

Pues porque, sinceramente, creemos que es una experiencia muy diferente a lo que hayas podido experimentar con cualquier otro videojuego. Porque rompe las “normas” y paradigmas tradicionales del diseño de videojuegos. Y porque de vez en cuando está bien hackear tu propio cerebro y obligarle a procesar el entorno de otro modo; tápate los ojos, ponte unos cascos, y enfréntate al reto de orientarte exclusivamente a través del oído.

Coloratura no es un juego “para ciegos”, en absoluto. Aunque lo hemos diseñado con la accesibilidad e inclusividad en mente desde el minuto uno, lo que siempre hemos querido es conseguir crear una experiencia que pueda ser disfrutada en igualdad de condiciones. Seas invidente o no, creemos que es una experiencia que merece la pena vivir.

Si quieres darle un tiento (cosa que por supuesto recomendamos), ahora mismo tenemos una demo disponible en Steam. El juego estará disponible para PlayStation 5 y PC, ¡iremos anunciando fechas en los próximos meses!

Saludos,

martes, junio 16, 2026

Captchas Cognitivos para Humanos y "Richie Robots" con muchos Tokens de IA

Usar Captchas Cognitivos para detectar Humanos o Bots ya hace tiempo que empieza a no ser real. La cuestión que dirime no es ya entre un bot y un humano. Ni mucho menos. La cuestión que resuelve el uso de Captchas Cognitivos es el consumo de glucosa en el cerebro de los humanos o el consumo de Tokens de modelos de IA. Y ya.

Figura 1: Captchas Cognitivos para Humanos y "Richie Robots" con muchos Tokens de IA

Esto hace que no podamos decir eso de "I am not a robot", sino "I am a robot or a robot with tokens de IA", porque como vemos, con los MM-LLMs es muy fácil saltarse todos los Captchas Cognitivos que les tiremos por delante. De esto se habla en el libro de "Hacking y Pentesting con Inteligencia Artificial" que os publicamos hace unos meses.
Y por supuesto, en todos estos artículos que ya os ido publicando por aquí, y que deberías leerte si quieres ver funcionando la IA para saltarse los Captchas Cognitivos, como vamos a ver hoy, donde tenemos uno nuevo no visto hasta ahora.
La creación de nuevos Captchas Cognitivos sirve para que puntualmente un conjunto de bots se paren, pero no creo que tenga un impacto grande. Mirad este caso, donde un nuevo Captcha Cognitivo en Twitter - llámalo X si prefieres -, me pide contar piedras.

Figura 3: Captcha Cognitivo en Twitter/X

En este caso, hay una pregunta, un modificador, y una imagen. Después, las dos opciones son a) la imagen responde correctamente a la pregunta, con lo que hay que pulsar el botón de "Submit", o no responde a la pregunta, por lo que hay que pulsar el botón de la flecha "A la derecha".

Figura 4: Otro captcha similar en Twitter/X

En el primer caso había que pulsar "derecha" en el segundo ejemplo hay que pulsar "Submit". Así de de sencillo. Así que, para automatizarlo fácilmente, decidí dividir la imagen en dos, y hacer la pregunta más genérica posible, usando las capacidades de visión artificial para reconocer el modificador de la izquierda, al que llamé "question"
Figura 5: Question

Y a la parte de la derecha, donde se muestra la imagen de las rocas, que en este caso las llamé Answer, que no me iba a complicar demasiado teniendo tokens de IA para gastar.

Figura 6: Answer

A partir de ese momento, el proceso de automatizar la ruptura de este Captcha Cognitivo es enviarle los dos ficheros y preguntar si dada la Question, la Answer es correcta, y el resultado que me da Gemini es el que os esperáis.

Figura 7: Right or not?

Como podéis ver, Google Gemini se merienda este reto cognitivo en segundos, así que no hay mucha barrera para los bots con poner estos Captchas Cognitivos.

Figura 8: No es correcto. Click a la derecha.

El reto, al final, es lo que hemos hablado, los Tokens de acceso a estos modelos, el cómputo de los mismos, la energía que gastan, etcétera, pero no la capacidad cognitiva. Es más un tema de costes que de capacidad cognitiva.

Figura 9: Otra prueba, en este caso correcta

Aquí le mandamos un Captcha Cognitivo con la posición correcta, y como podéis ver lo acierta perfectamente. Así que habría que pulsar al botón de "Submit". Todo claro y cien por cien automatizable para resolverlo cuando se precise.

Figura 10: Respuesta correcta.

Como ya vimos en su momento, se puede apificar, convertir la respuesta en un sólo carácter 1 o 0, y reducir el número de tokens en razonamiento. Pero también se pueden hacer estos procesos con modelos OpenSource corriendo en máquinas en local.
El mundo de la Inteligencia Artificial ha cambiado drásticamente el mundo de la ciberseguridad, del hacking, del pentesting, de la ciberinteligencia, del exploiting, y por supuesto del mundo del Hardening.  Y esto cada día va a ser más impactante. 

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


martes, mayo 05, 2026

El Captcha Cognitivo de TikTok al estilo de "The Secret of the Monkey Island" que resuelve la Inteligencia Artificial

Este puente lo he dedicado en soledad a hacer muchos proyectos personales que tenía atrasados. También a ponerme al día con mis series, deporte, libros, y preparar las presentaciones de los eventos en los que voy a participar esta semana. Además, he aprovechado a recuperar horas de sueño, así que ha sido uno de esos puentes que necesitas de vez en cuando para despegar la mente y el cuerpo... pero por el camino, se me cruzaron un perro y un cactus en unos Captchas Cognitivos, así que tuve que detener todo para ocuparme de ellos.

Figura 1: El Captcha Cognitivo de TikTok al estilo de
"The Secret of the Monkey Island"
que resuelve la Inteligencia Artificial

Este ese el Captcha Cognitivo que utiliza TikTok para evitar que usuarios no autenticados en la plataforma puedan acceder a los vídeos publicados en la plataforma a través del cliente web. Supongo que para evitar que los Agentes AI estén llevándose el contenido o vigilando a los usuarios. Ya sabéis, TikTok es una gran fuente OSINT para investigar personas e identidades en Internet.

Pero para mí, era un nuevo pasatiempo, porque es de un tipo de Captcha que aún no había visto. Así que había que jugar con él un rato para que engrosara la lista de los Captchas Cognitivos con los que he ido jugando y que tenéis publicados en estos artículos.
Al final, resolver Captchas Cogntivos es algo que en el mundo del Crimeware as a Service está bastante industrializado, y que si estás haciendo scripts de Hacking & Pentesting con IA, debes tenerlo más que presente, por lo que siempre que me encuentro con uno, juego hasta que veo cómo se puede resolver y automatizar usando Inteligencia Artificial.
En este caso, el Captcha Cognitivo está formado por dos una imagen que está dividida en dos círculos que debes alinear para formar una imagen. Vamos, si has jugado a "The Secret of Monkey Island" original seguro que recuerdas "La rueda marcapiratas" que había que girar para que se alinearan las caras que te pedían en el juego. If you know, you know.
En este caso mirando cómo funciona el sistema, se puede ver que cuando mueves la barra horizontal gira la imagen interior y la imagen exterior hasta encontrarse. Lo puedes probar entrando en mi perfil de TikTok sin autenticarte en la plataforma y te saldrá.

Cuando mueves la barra horizontal gira la imagen interior hasta un máximo de180 grados en el sentido de las agujas del reloj mientras que la imagen exterior se mueve también hasta un máximo de 180 grados en sentido contrario. 

Figura 6: Las dos imágenes giran 180 grados
a lo largo del desplazamiento de la barra

Con esto en mente se me ocurrió que la solución sería fácil, bastaría con pedirle a Gemini que me dijera cuántos grados hay que girar la de dentro para alinearlas, dividir entre dos para quitar el efecto del giro contrario ya que las imágenes se encontrarían a mitad del camino de la alineación.

Figura 7: La solución buscada (esto lo hice yo manualmente)

Para completar la resolución, que después ese ángulo lo convirtiera en un porcentaje del total máximo de giro - que son 180 grados -, para así hacer un porcentaje de desplazamiento de la barra.

Figura 8: Petición a Gemini para resolver el Captcha Cognitivo

Y bueno, lo hizo bien con los cálculos, como podéis ver a continuación, donde dice que hay que mover como a la mitad la barra de desplazamiento para alinear las imágenes.

Figura 9: Cálculos realizados por Gemini.
Nota: Se ha dado cuenta de que es un CAPTCHA.

Eso sí, cuando le pedí que me hiciera la imagen de cómo debe quedar, se ve que el perro lo ha puesto como un señor en lugar de alinear las imágenes - me eché unas buenas risas cuando vi al perrinchi todo chulo mirándome como un señor -, además que en la solución real se necesitaba la barra un poco desplazada.

Figura 10: La solución de Nano Banana es genial.

Así que lo quise ajustar un poco con otro ejemplo, en este caso con un cactus, que como podéis ver mantiene la misma estructura y límites de giro, lo que permite automatizarlo como estaba contando antes con el perro.

Figura 11: Vamos con el cactus

En este caso, le di alguna explicación más de cómo quería que configurase la barra de desplazamiento, y de cómo debía hacer el cálculo de los ángulos, que quería ver si lo dejaba funcional.

Figura 12: El prompt más especificado

Lo de pintar la imagen resultante con Nano Banana solo es para publicarlo en este artículo puesto que para automatizarlo lo único que se necesita es el porcentaje de desplazamiento para que lo haga el Agentic AI, pero quería ver cómo quedaba.

Figura 13: Los cálculos de Gemini para resolver el Captcha

En este caso queda más aproximado con la ubicación del botón - me ha pintado hasta la regla como le he pedido -, y con esto se resolvería el Captcha Cognitivo, aunque de nuevo vuelve a hacer la imagen como le place, totalmente inventada. Debería darle más explicaciones, está claro.

Figura 14: A la izquierda la resolución manual. 
A la derecha la resolución por Gemini.
(Importa solo la posición de la barra)

Lo cierto es que me pasé el rato jugando con este Captcha Cognitivo de Tiktok visual, pero como tiene una versión para resolver con audio, esto es más sencillo aún. Aquí tenéis el vídeo que grabé para el artículo de hoy.

Figura 15: El Captcha Cognitivo Auditivo de Tiktok

Como sabéis, este truco ya lo habíamos utilizado en el pasado para resolver con Cogntive Services el ReCaptcha v2 de Google, hace mucho tiempo, así que aquí la idea era hacer lo mismo con Gemini.

Figura 16: Captcha Auditivo de TikTok en Gemini

Extraído el audio, y subido a Gemini, le pido que me diga lo que se escucha allí, y como podéis ver son sólo una secuencia de letras, así que bastante sencillo.

Figura 17:Captcha Auditivo de TikTok en Gemini Resuelto

Como os decía, empieza a ser más fácil resolver los Captchas Cognitivos con Inteligencia Artificial que siendo humano, así que vamos a tener que aprender nuevos juegos para resolver este problema. ¿Cuál?

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que se han  escrito, citado o publicado en este blog sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


Entrada destacada

Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment. Nuestro nuevo libro en 0xWord

Pocas veces me ha hecho tanta ilusión que saliera un nuevo libro en 0xWord como con este libro de " Hacking IA: Jailbreak, Prompt Inje...

Entradas populares