Cómo evitar fugas de documentos con un "DLP AI" para ficheros de imágenes con Cloudflare Workers AI y Clef

Estando en Argentina me preguntaron por una capacidad de los Guardarraíles para DLP de Cloudflare. "¿Cómo evitamos que los usuarios envíen documentos gráficos con DNIs, Pasaportes o tarjetas de Crédito?" La idea es sencilla, y no es una opción por defecto en muchos DLPs, pero es que hoy en día en los Guardarraíles, o en los WAF, o en el CASB de la plataforma de Cloudflare puedes hacer una llamada a un Worker y correr cualquier check que quieras, y con la llegada de los Modelos de Decisión como Cloudflare Clef, esto es muy sencillo de realizar.

Figura 1:Cómo evitar fugas de documentos con un "DLP AI" para

ficheros de imágenes con Cloudflare Workers AI y Clef

Así que le puse a mi "wingman" en Cloudflare, el gran Carlos Luengo, un audio que le decía algo así como "Su misión, en caso de aceptarla, consiste en hacer un Worker AI que reciba una imagen, la pase por Clef y nos diga si es un leak de un documento oficial (DNI o Passport) o una tarjeta de crédito." Así que nada, en lo que dura un ping a Cloudflare , con el Vibe Coding hizo una PoC llamada Visor muy sencillita.

Figura 2: Arquitectura de VISOR DLP AI con CLEF en Cloudflare

La arquitectura utiliza las piezas de Cloudflare para construir en el Edge, y la podéis probar vosotros mismos, ¿quién necesita una región en la cloud para esto cuando tienes Region Earth en Cloudflare? Utilizar Turnstile y Precursor para evitar los bots, luego un Worker para validar la imagen que sube, un Worker AI para hacer la ejecución de Clef, y el almacenamiento de imágenes para las pruebas en R2 y D1 para tener la información en tablas y un registro de las decisiones tomadas, que pueda servir para ajustar la configuración de las decisiones.

Figura 3: Explicación de la arquitectura de VISOR DLP AI con CLEF en Cloudflare

El resultado es VISOR, una web con la PoC muy sencilla, en la que puedes subir la imagen y probar la decisión. Sube imágenes fake creadas para esto que Internet está lleno, y en unos milisegundos tienes la respuesta en la misma web.

Figura 4: Prueba con DNI fake

Yo lo he probado con todo tipo de imágenes, y lo ha hecho muy bien, pero si quieres probar esto en tu entorno y antes testearlo - como hemos hecho nosotros - puedes hacer que procese batches, en nuestro caso lo hemos hecho con imágenes que hemos cargado con URLs desde búsquedas en la web, y el resultado es perfecto.

Figura 5: Pruebas con imágenes en Batch para pruebas.

La programación de este servicio en TypeScript es menos de un centenar de líneas, y lo puedes pedir a tu AI Coder favorito, que al final la llamada a CLEF (que es multi-modal y toma decisión con modelos de visión), es tan sencilla como está parte.

Figura 6: Llamada a Clef y clasificación de resultados

Y luego, una vez cargado el análisis - en este ejemplo hecho por mí solo he tenido en cuenta DNI y Pasaporte, pero puedes añadir el que quieras - tomas la decisión adecuada a cada uno de ellos.

Figura 7: Resultados de la clasificación con Clef.

Así que si quieres, puedes hacerte este Worker AI con Clef y meter este DLP en todos los puntos de control que desees. En el SGW, en el CASB, en el eMail Security, en los Guardrrailes, etcétera. La capacidad se puede consumir desde dónde tú quieras. Esta en el Edge mundial de Cloudflare, a 50 milisegundos en media en todo el mundo.

ç

Figura 8: Modelo de decisión Cloudflare Clef

Y si has entendido esta prueba, imagina la cantidad de controles de seguridad que puedes poner en todos los procesos de tu organización, y en todos los servicios digitales que tienes añadiendo checks de seguridad con Clef.  En este vídeo tenéis el proceso completo, y los valores devueltos por Clef para todas las imágenes en la prueba individual y en Batch.

Figura 9: Demo de Visor con Workers AI y Clef para DLP en imágenes

¿Se te ocurren controles de seguridad en llamadas telefónicas de tu Contact Center, en chats con clientes, en ficheros del sistema, en mensajes de email enviados y recibidos? A mí sí, y seguro que a ti también se te ocurren muchas ideas al respecto.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Shadow AI: Los datos de tu empresa que tus empleados enviaron a Servicios IA sin que tú lo supieras.

Hace unas semanas os hablé de en el artículo de "La Inteligencia Artificial está multiplicando los parches de seguridad ... ¿quién los va a instalar en tu PYME?" que el verdadero problema de la Inteligencia Artificial para una PYME no es el APT con el exploit sofisticado que les tumba, sino la gestión del volumen de parches que hay que instalar, y que no tiene a un responsable para ello.  Hoy quiero hablaros de otro problema igual de poco glamuroso y mucho más cercano, porque no viene de fuera. Ya está dentro de la empresa. Se llama la IA en la Sombra, o Shadow AI.

Figura 1: Shadow AI - Los datos de tu empresa que tus empleados

enviaron a Servicios IA sin que tú lo supieras.

Esto no es más que la versión actual del Shadow IT, pero llevada al mundo de la IA, donde nos encontramos con herramientas de Inteligencia Artificial que los empleados usan por su cuenta, sin que nadie las haya revisado ni autorizado. De eso habla hace poco Catalin en su artículo "Inteligencia Artificial en las empresas: Tres formas de uso. Tres niveles de control del riesgo." donde explicaba los peligros de las diferentes formas de utilizar la IA en la empresa.

Figura 2: Descubrimiento de uso de IA en la empresa

con el diagnóstico gratuito de IronGate

Un Asistente IA de chat con la cuenta personal, una extensión del navegador que resume lo que aparece en pantalla, un asistente de notas conectado al calendario que entra sólo en todas las reuniones. Nadie lo hace con mala fe, lo hacen para trabajar mejor. Pero para dar una respuesta útil, una IA necesita contexto, así que recibe contratos, hojas de clientes, informes internos o conversaciones completas. Datos privados de la empresa.

Figura 3: Recomendaciones de "Cost of Data Breach"

Y el problema ya se puede medir. Según el informe de "Cost of a Data Breach Report 2026" de IBM, el porcentaje de incidentes de seguridad con Shadow AI pasó del 20% al 43% en un año, y esos incidentes costaron de media 5,39 Millones de USD. Aun así, el 68% de las organizaciones que sufrieron una brecha NO tenía gobierno de la IA para gestionarla ni para detectar su uso no autorizado.

El consejo que no funciona

La recomendación de todas las guías es «no subas información sensible», y casi nadie la cumple, con razón. Si quieres que una IA revise un contrato y le quitas las partes, los importes y las fechas, el análisis ya no sirve. Y nadie va a pasarse una hora tachando datos antes de cada consulta. Lo que ocurre es que la gente sube el documento entero y no lo dice. La pregunta útil no es qué información subes. Es dónde la subes.

Subir no es entrenar, y al RGPD le da igual

Cuando adjuntas un documento a un Asistente de IA en la nube, sale de tu equipo y se procesa en los servidores de un tercero, tanto en la versión gratuita como en la de pago. Lo que cambia entre planes es lo que pasa después: si pueden entrenar con tus datos, cuánto tiempo los guardan y si puedes auditarlos o borrarlos. Por eso «no entrena con tus datos» no significa «tus datos no salen de la empresa».

Figura 4: ironGate Cybersecurity - Security Operations Center (SOC)

para PyMes, Autónomos y Particulares

Y al Reglamento General de Protección de Datos tampoco le importa si entrenan. Le importa que un dato personal ha salido de tu organización hacia un tercero que pasa a ser encargado del tratamiento, y eso exige un contrato firmado (artículo 28). Con una cuenta personal ese contrato no existe: el proveedor ni siquiera sabe que tu empresa existe.

Prohibir no funciona

La reacción habitual es vetar la IA. En la práctica, la gente sigue usándola desde el móvil o desde casa, y la empresa deja de ver lo que pasa. Prohibir no reduce el riesgo: lo vuelve invisible. La IA en la Sombra aparece cuando la herramienta oficial es peor que la que cada uno se busca, o cuando no hay ninguna. Por eso es un problema de gestión antes que de seguridad.

Lo que funciona es un método de tres pasos:

1.- Descubrir qué herramientas se usan de verdad.

2.- Clasificarlas: autorizada, pendiente de revisar o no autorizada.

3.- Gobernar con una norma de una página, formación del equipo y revisión periódica.

Y el mensaje al equipo cambia. Hemos pasado de «no subas nada sensible», sino «sube lo que necesites, pero solo aquí». Porque los empleados de hoy van a utilizar todos IA en su trabajo sí o sí, se la des tú disponible, o se la tengan que agenciar.

Figura 5: Gobierno de la IA en la empresa

De todo esto hemos hablado en IronGate, donde además hemos dejado una tabla de diferencias entre una cuenta personal y una herramienta de empresa y el método paso a paso para gestionar el Shadow AI en la PyME que merece la pena leer entero. 

Figura 6: Solicita un Diagnóstico gratuito a IronGate Cybersecurity

Si queréis saber qué herramientas de Shadow IA hay en los equipos de tu organización, desde IronGate ofrecemos un diagnóstico gratuito para descubrirlas todas ellas. Así que la pregunta que yo os haría hoy no es si tus empleados usan IA, que casi seguro que sí. La pregunta correcta es:

¿Sabes qué herramientas, y dónde están subiendo tus empleados hoy los documentos de la empresa?

Saludos,

Figura 7: Contactar con Ricardo Fúster.

CEO y Fundador de IronGate CyberSecurity

El negocio de la venta de datos de los asistentes a EVENTOS: Agentic AI + Web Scrapping + Data Enrich + Spam

El otro día, en una de nuestras reuniones de amigos, debatí un rato con mi compañero Kiko Monteverde sobre las campañas de venta de datos de asistentes a eventos. Unas son estafas, pero otras... realmente tienen los datos. ¿Cómo lo hacen? Muy fácil, estamos en el mundo de los Agentes IA, de las capacidades de WebScrapping avanzadas, de la digitalización de los eventos para el networking profesional, y del auge de las plataformas de Data Enrich... el resto, es unir las piezas.

Figura 1: El negocio de la venta de datos de los asistentes a EVENTOS.

Agentic AI + Web Scrapping + Data Enrich + Spam

Para poneros en situación, escribí un artículo hace unas semanas sobre el negocio de la venta de asistentes a eventos. La pregunta que me hacía en ese artículo es ... ¿estafa? ¿hacking? ¿o hay algo que no veo? Pues bien, de todo hay, por supuesto.

Figura 2: Venta de datos de Reset Connect 2026 en Londres

Durante mucho tiempo, en la Dark Net se han comercializado datos robados a plataformas, pero eso implica mucho trabajo. ¿Cómo simplificar esto sin necesidad de buscar una vulnerabilidad que puede o no existir? Pues aprovechando las capacidades que tenemos hoy en día.

Paso 1: Localizar los eventos.

Esto es un trabajo para un Agente AI que en loop busque todos los días nuevos eventos que van a tener lugar en el futuro cercano - por eso se venden "in advance" muchos de estos datos -. Este es un trabajo puro para un Agente AI que permita localizar los eventos primero. 

Figura 3: Descubriendo eventos con IA

Una vez que el primer Agente IA va reportando los eventos, pasamos al segundo Agente IA, que debe trabajar evento a evento para descubrir si ese evento cuenta con una plataforma web o móvil para hacer networking, conectar con otros asistentes y con los expositores para planear reuniones de trabajo, que es una cosa bastante común.

Figura 4: Descubriendo eventos con datos de asistentes a tiro de WebScrapping

Con este Agente IA ya tenemos la plataforma que se necesita para hacer el Web Scrapping de datos que van a ser el origen de los datos de vent. Esto está ya en camino.

Paso 2: El WebScrapping del evento

El siguiente paso es hacer el WebScrapping del evento. Para ello, hay que registrarse al evento y entrar dentro de la aplicación para ver los asistentes, pero una vez dentro los tienes allí. Esta es la captura de uno de los eventos en los que he participado este año con una de estas plataformas de networking y conexión de participantes.

Figura 5: Marketplace de asistentes al evento

He tapado las fotografías, el nombre, los apellidos y la empresa, pero queda claro que están ahí los datos. La aplicación de networking permite Conectar. Si el otro acepta, entonces se comparten los datos de contacto - normalmente e-mail y teléfono -, por lo que no siempre la gente acepta la conexión. Pero, no es necesario.

Figura 6: Las conexiones para ver datos de contactos suelen necesitar aprobación

Un punto interesante es que, si acceder a esta lista cuesta dinero porque hay que registrarse de pago antes, entonces solo lo hacen cuando alguien ha pagado por los datos. Por eso, se venden los datos de los eventos antes de que se hayan realizado. 

Figura 7: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso.

Y si hay captchas, o protecciones en las aplicaciones, pues nada. Usando las mismas técnicas que se usan en el hacking y el pentesting con Inteligencia Artificial. Easy.

Paso 3: Data Enrich & Spam e-mail

Aquí viene la gracia final. El mercado de datos. Probablemente recordáis mi enfado con una de las plataformas de venta de datos para Data Enrich que vendía mi teléfono y mi dirección de correo electrónico. Esta en concreto tiene 240 Millones de personas en ella.

Figura 8: 243 millones de personas en esta plataforma de Data Enrich

Mi historia, os lo conté en el artículo de "Do NOT sell my information (e-mail & phone number)". Tuve que luchar con abogados para salirme de todas las que vendían mis datos. 

Figura 9: Plataforma de venta de datos (e-mail & Phone)

Estas plataformas son las que utiliza el Agente AI que genera el paquete enriquecido con todos los datos de los asistentes al evento que se venden. En este ejemplo he buscado gente que vino como asistente al evento en el que usamos una plataforma de networking, y ahí están los datos de contacto. Me volvieron a meter en una de esas plataformas recientemente, pero reconozco que el proceso de salirme fue más sencillo, o que yo ya me conocía todos estos problemas. 

Figura 10: Venta de datos del Congreso APEX FTE Ancilliary & Retailing 2026 en Dublin

Con esto, ya tenemos el negocio, el resto es un Agente IA para hacer Spam masivo por e-mail vendiendo por delante esos datos. Y si alguien compra, pues hacen el paquete y te los dan curados. Un negocio basado en Agentes IA muy sencillo, si lo piensas. 

Para no caer y para salir de la venta de datos.

Tus datos tienen valor. Las plataformas de Data Enrich los venden al por mayor. Los negocios de venta de datos de eventos los empaquetan y los venden con un precio mayor. Y tú sufres el Spam por email y por teléfono. A mí no me gusta nada esto. Esta fue una de las razones de crear MyPublicInbox. Y lo último que estamos haciendo es añadir una dirección e-mail al canal de MyPublicInbox, de tal forma que lo mismo que funciona por el canal web, funcione por el canal e-mail. 

Figura 11: Mi e-mail en MyPublicInbox "chemaalonso@mypublicinbox.email"

La semana que viene saldrá la primera versión de esta nueva capacidad, y os podré contar más cómo funciona, para que le saques el máximo partido a estas nuevas capacidades para proteger tu tiempo y luchar contra estos negocios de venta de datos. Y si estas sufriendo mucho Spam por email o telefónico y quieres salir de estas plataformas que venden tus datos, contacta con Leire en MyPublicInbox y te echamos un cable.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

La Orden Ejecutiva de la Casa Blanca para promover Innovación en IA Avanzada y Seguridad para protegerse de, y con, la IA

Ayer antes de irme a la cama me topé con la publicación de la Presidential Executive Order del 2 de Junio que publicaba la Casa Blanca de Estados Unidos para "Promoting Advanced Artificial Intelligence Innovation and Security", donde se insta a los principales organismo del gobierno de los EEUU a tomar en el plazo de un mes medidas para Mejorar la Innovación en IA Avanzada y en Seguridad, algo que a todo el mundo empresarial tiene muy preocupado últimamente.

Figura 1: La Orden Ejecutiva de la Casa Blanca para promover Innovación

en IA Avanzada y Seguridad para protegerse de, y con, la IA

Ya he hablado mucho de esto, pero básicamente el Impacto de la IA en la Ciberseguridad de una organización, sea esta una Infraestructura Crítica, una Empresa o un Organismo del Gobierno, se puede catalogar en varios puntos fundamentales, que son los que ha intentando reflejar esta orden que podéis leer completamente.

Figura 2: Promoting Advanced Artificial Intelligence Innovation and Security

1.- La IA inyecta nuevos problemas de seguridad

De esto he hablado muchas veces, y hasta hemos publicado el libro de "Hacking AI", donde se tratan todos los problemas de seguridad de los que nos debemos preocupar si se utilizan sistemas con modelos de IA. Desde los BIAS, hasta las Hallucinations, pasando por el Poisoning de datos y de modelos, los problemas de Jailbreak, la vulnerabilidad a las técnicas de Prompt Injection, y el Desalineamiento de los modelos, que fuerzan los atacantes.

Figura 3:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Todos estos problemas de seguridad no deben frenar el desarrollo y el uso de la IA, pero sí que exigen desarrollo de planes de contención robustos basados en Guardarrailes, y el despliegue seguro de IA... que no es tan sencillo. 

Figura 4: Advanced AI introduce nuevas consideraciones de seguridad

En la Executive Order, en el primer punto de la misma podemos leer lo que tenéis arriba, y es que las capacidades de IA hacen a la nación más fuerte, pero también introducen nuevas consideraciones de seguridad que hay que tomar en cuenta, para lo que se insta a hacer muchas cosas.

2.- Securizar IA y usar IA para Securizar

En la Sección 2 de la Executive Order, donde se insta a todos los departamentos a tomar precauciones, toca tes puntos muy relevantes, a saber:

Figura 5: Executive Order Section 2. Security

El primero de ellos es el que todos conocemos, y es que un adversario con IA es un adversario mucho más peligroso hoy en día. Tanto en el uso de Agentes IA de Seguridad Ofensiva, como en la búsqueda y explotación de vulnerabilidades. 

Figura 6: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso,

Agentes de Seguridad Ofensiva de gran efectividad y modelos como Mythos, son ya una realidad presente que hace que las soluciones de seguridad hasta el momento se queden insuficientes.

3.- Buscar bugs con IA y Parchearlos con IA

El segundo de ellos es que hay que que utilizar herramientas de seguridad basadas en IA, es decir, el uso de Agentic SOC, uso de IA para detectar ataques e, incluso, utilizar IA para parchear sistemas, como el caso de Plexicus, que está empujando José Palanco, del que tanto os he hablado ya, que permite parchear en caliente y gestionar las vulnerabilidades de una organización de manera automática utilizando IA.

Figura 7: Plexicus parchea con IA los bugs descubiertos

El tercero de los problemas es permitir el acceso a nuevas herramientas de seguridad que puedan resolver los nuevos problemas de seguridad que introducen los sistemas que utilizan IA. Hace un par de días os hablaba del Despliegue de Agentes AI con políticas de Zero-Trust y la cantidad de nuevas herramientas que son necesarias para proteger, medianamente, un entorno de Agentic AI en una organización.

Figura 8: Búsqueda de Vulnerabilidades con IA y Parchear lo antes posible

Además, para poder hacer este trabajo, hay que realizar, como hace todo buen CISO, una nueva auditoría buscando vulnerabilidades en todos los sistemas utilizando herramientas de AI - tipo Mythos - para buscar esas vulnerabilidades, y parchearlas lo antes posible. 

4.- Auditoría de los Modelos de Frontera 

La última parte de la orden tiene que ver directamente con los Modelos de Frontera de IA que se van a utilizar con todo este proyecto, donde se insta a que se haga un Benchmarking de auditoría completo para saber cuáles son los modelos que, en función de las necesidades anteriormente descritas cumplen o no cumplen los requisitos que se les demandan.

Figura 9: Despliegues de Modelos de Frontera Seguros

Como podéis ver, habla en todo momento de Secure Frontier Model, porque son conocidas las debilidades y por tanto hay que poner en valor su robustez, y el despliegue seguro que se haga de los mismos con guardarraíles para tener entornos securizados.

Los plazos

Lo más llamativo, son los plazos. Se habla de 30 días y 60 días en todas las aciones demandadas, lo que muestra y evidencia el nivel de preocupación que el gobierno de los Estados Unidos tiene con el impacto de la IA en la Seguridad Nacional a todos los niveles. Os dejo esta charla de finales del año pasado - pre- Mythos -.

Figura 10: Inteligencia Artificial y Ciberseguridad

La pregunta que me surge es ¿haremos lo mismo en Europa pronto? ¿Lo haremos en todas las empresas en Europa pronto? Como se suele decir. "Clock is ticking".

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

(Tu) MetaShield Clean-Up Online: Descubre qué datos exponen tus documentos

Uno de los proyectos que hemos comenzando este años a cuidar desde Tu.com es MetaShield Protector. La familia MetaShield Protector ayuda a las empresas y particulares a evitar las fugas de información de la compañía por medio de la limpieza de los metadatos, la información oculta y los datos perdidos. Mucho he hablado de esto durante años en este blog y en muchas conferencias.

Figura 1: (Tu) MetaShield Clean-Up Online.

Descubre qué datos exponen tus documentos

Para los nuevos - y para los no tan nuevos - quería hacer este artículo para informaros que tenéis el servicio de MetaShield Clean-Up Online disponible en la nueva URL, que es: https://metashieldclean-up.tu.com, donde lo podéis utilizar gratis para saber qué datos filtran tus documentos ofimáticos, tus fotografías, o los archivos que compartes en general con personas a través del correo electrónico, o con todo el mundo a través de la publicación de los mismos en la web.

Figura 2: Tu Metashield Clean-UP Online

Para que veáis cómo funciona este servicio, he buscado un fichero Excel que he recibido recientemente y lo he subido para analizar.

Figura 3: Análisis de Metadatos, Información Ocult y Datos Perdidos

de un documento Excel con MetaShield CleanUP Online

En él podéis ver cómo hay un montón de información, como por ejemplo el nombre del usuario del sistema que creó dicho archivo.

Figura 4: Nombre de usuario y tipo de documento

También aparece información de la compañía que licenció la versión de Excel con la que se creó este documento, lo que es bastante curioso y puede dar más información de la necesaria.

Figura 5: Compañía que ha licenciado el software

Otro de los datos es quién modificó el documento, que es otro usuario de la compañía diferente a quién lo creó, lo que nos da un historial de edición del archivo, y dos nombres de usuarios de dicha compañía, sólo con haber recibido un documento Excel.

Figura 6: Usuario que modificó el Excel

Pero la información que aparece no se queda ahí, y podemos descubrir marcas y modelos de impresoras, así como versiones de software.

Figura 7: Impresora configurada y versión de Excel utilizada.

Ya he hablado mucho de la importancia de esta información que muchas veces las empresas entregan sin ningún cuidado, y cómo una compañía que comparte decanas, o centenares de documentos al día, está filtrando mucha información de la estructura de red y de seguridad de la empresa.

Figura 8: Contacta para conseguir más información

de los productos Metashield Protector.

En Tu Metashield tenemos además soluciones para aplicar en el correo electrónico de Office 365, en la gestión en los servidores web, e incluso para utilizar vía API en tus propias aplicaciones de gestión documental, así que si quieres ver posibilidades de colaboración, o quieres usar nuestros servicios, puedes contactar con nosotros.

Figura 9: Metadatos y Esquema Nacional de Seguridad

Todas estas herramientas, son fundamentales para implementar una Política de Seguridad de Metadatos para cumplir al Esquema Nacional de Seguridad, marcado por el CCN-CERT nacional en España, y para política similares a lo largo del mundo entero.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Codename: "Leak GuardIAn" para evitar filtraciones a ChatGPT

Uno de los proyectos de Ideas Locas que hicimos internamente en Telefónica Innovación Digital tiene que ver con la idea de controlar, cuando ChatGPT se hizo muy popular entre todos los empleados de las empresas, los datos que las personas enviaban al servicio, para que no se filtrasen datos privados de la compañía, o de personas que pudieran ser un riesgo de privacidad en el futuro.

Figura 1: Codename: "Leak GuardIAn" para evitar filtraciones a ChatGPT

Para ello, el utilizando la misma idea de tener un Plugin en el Navegador que interceptara las peticiones del dominio ChatGPT, creamos un servicio que analizaba el contenido del texto que se iba a enviar al LLM para ver si había algún dato que se quería monitorizar, bloquear o eliminar.

Figura 2: Estructura del funcionamiento de LeakGuadIAN

La idea era muy sencilla, y se puede aplicar a cualquier dominio. Se captura la petición, se envía a un backend controlado, se le pasan las reglas - que pueden ser incluso reglas hechas con SLM/LLM en backend o en frontend -, y se toma una acción.

Figura 3: Análisis de texto de LeakGuardIAn para localizar Nombres

Así, en los tres ejemplos que tenéis aquí podéis ver cómo se analiza el texto de las entradas para poder decidir si hay posible texto sensitivo, que es el que tenéis marcado en la imagen anterior como Nombres, en este caso de Localizaciones (Morado), Personas (Rosa) y Organizaciones (Verde).

Figura 4: Enmascaramiento de Nombres

En la imagen anterior LeakGuardIAn ha aplicado el borrado de Nombres de todo el texto para dejarlo totalmente anonimizado, que es la política que se ha aplicado a LeakGuardIAn en ese ejemplo concreto.

Figura 5: Reescritura del texto sin nombres

En la imagen anterior, se puede ver cómo el texto ha sido re-escrito sin poner ningún nombre propio en el contenido que se va a enviar a ChatGPT, que es lo que hace LeakGuardIAn. Solo revisar lo que se envía. Todo esto se define en un política que se configura en una consola de administración donde se configuran todas las reglas de detección y sus políticas de gestión de la información.

Figura 6: Creando las políticas para LeakGuardIAn

Se puede marcar para enmascarar (con asteriscos), eliminar, o directamente bloquear la petición a ChatGPT si es algo que no se desea que se envíe. Todos los prompts que se analizan y hacen saltar una regla quedan recogidos en la consola para poder analizarlos.

Figura 7: Reglas en la [K]onsole de LeakGuardIAn

En el siguiente vídeo podéis ver cómo se crea una regla para el dominio de ChatGPT, se hace una petición que se ve afectada por ella, y LeakGuardIAn le quita los datos personales. 

Figura 8: LeakGuardIAn borrando datos sensibles

En este otro, lo mismo, pero con un bloqueo de la petición, con lo que no se puede realizar ese envío de datos a ChatGPT, porque la política de gestión de la información lo prohibe.

Figura 8: LeakGuardIAn bloqueando el envío datos sensibles

Este proyecto fue solo una PoC para evaluar qué herramientas o política de gestión de la información podíamos utilizar ante la posible amenaza de filtración de información enviando datos a ChatGPT, algo que puede pasar en cualquier otro dominio, en WhatsApp, Google o vete tú a saber qué sitio, pero desde luego si son equipos corporativos puede ser una buena fuente de monitorización del comportamiento de los empleados siguiendo o no las políticas corporativas.

Figura 9: Libro de Machine Learning aplicado a Ciberseguridad de

Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

Este proyecto lo conté dentro de la charla de la RootedCON 2024, como uno de los que hemos estado haciendo en el área de Ideas Locas, jugando con IA, con Machine Learning y con las tecnologías web, de lo que os hablaré en un post resumen. Pero para los que queráis hacer alguna prueba similar a este proyecto, hemos utilizado ReactJS, TransformersJS y Model Distlibert Base Multilingual Cased Name Entity Recognition de HuggingFace para hacer el análisis y detección de las filtraciones de nombres en la PoC.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)