La Policía Nacional detiene a un cibercriminal que usaba DeepFakes para obtener Certificados Digitales gracias a un Glitch

En el año 2017, cuando descubrí los primeros ejemplos de técnicas de FaceSwapping, mi mente viajo al futuro y pensé en el mundo de los Blade Runners y Replicantes Virtuales, pero en el mundo digital. La capacidad de llevar "máscaras digitales" al estilo de la película "Desafío Total (Total Recall)", cruzaba por mi cerebro. Sí, la ciencia ficción siempre me llena la cabeza de posibles futuros que pueden venir detrás cuando veo una nueva innovación.

Figura 1: La Policía Nacional detiene a un cibercriminal que usaba

DeepFakes para obtener Certificados Digitales gracias a un Glitch

Durante esos años, comenzamos a trabajar mucho en el equipo de Ideas Locas con las técnicas de FaceSwapping, los Autoencoders, las herramientas para hacer DeepFakes, y las técnicas de detección. El famoso Test de Voight-Kampff digital que tanta falta sabíamos que hacía, especialmente para un mundo que se estaba yendo a 100% digital, y donde los procesos de Know-Your-Customer (KYC) debían hacerse totalmente online.

Figura 2: Técnicas de IA en ciberseguridad y su impacto en Deepfakes 

Hoy en día, las técnicas de DeepFake son de gran calidad, y los cibercriminales, los estafadores en las redes sociales, y los APTs a las organizaciones las tienen como una herramienta más. En el mundo del uso de la IA para el Cibercrimen, como os conté en el artículo de "Weaponized AI", las herramientas para generar identidades digitales con DeepFake totalmente identificados, documentadas y funcionales, es una pieza más del sistema. 

Figura 3: Vídeo de Haotian AI. DeepFake de Vídeo y Voz

Que sean tan perfectas las herramientas exige en los entornos de alta necesidad de seguridad que estas identidades sean verificadas de formar remota con una gran robustez, si no, se podría estar poniendo a los cibercriminales las cosas sencillas. Por supuesto, entornos de banca, o, como en este caso, Entidades Certificadoras Autorizadas que entregan Certificados Digitales asociados a una Identidad Verificada - por su DNI y su Prueba de Vida - en un proceso de KYC, necesitan, obligatoriamente usar técnicas avanzadas de detección de DeepFakes.

La Policía Nacional detiene a un ciberdelincuente que utilizaba una técnica pionera mediante IA para obtener certificados de firma electrónica

La Policía Nacional, publicó en su Sala de Prensa el pasado 11 de Agosto como habían detenido a un cibercriminal que se había dedicado a sacarse más de 30 Certificados Digitales conseguidos en más de 38 intentos en un Entidad Certificadora Autorizada en España usando, para ello técnicas de DeepFake, trabajadas con iluminación, y documentos falsos que debía mostrar a la cámara.

Figura 4: La Policía Nacional detiene a un ciberdelincuente que utilizaba una

técnica pionera mediante IA para obtener certificados de firma electrónica

El cibercriminal creaba primero la identidad, sobre ella creaba unos documentos de identidad falsos, y luego hacía el proceso de Know Your Customer onnline con sofisticadas técnicas de iluminación para conseguir reproducir los destellos de los hologramas y las medidas de seguridad físicas de los DNIs, asociando el uso del programa de DeepFake al mismo tiempo para salir en vídeo.

Por supuesto, su red de anonimato iba mucho más allá, ya que tenía 320 líneas telefónicas, asociadas a 24 dispositivos móviles distintos, de los cuales la gran mayoría eran contratadas con identidades suplantadas y adquiridas en puntos de venta geolocalizados en Murcia, de donde es el cibercriminal.

Figura 5: "Ciberestafas: La historia de nunca acabar" (2ª Edición).por Juan Carlos Galindo en 0xWord.

En las empresas, los ataques a las organizaciones con empleados falsos empiezan a hacer esto. Primero poner a personal altamente cualificado para pasar el proceso de entrevistas. Hacen un currículo con IA que responda perfectamente a la oferta en concreto - siempre buscando trabajar en remoto - y luego pasan los procesos de selección y onboarding con estas técnicas, para luego dejar el equipo en una granja de ordenadores conectados a empresas que los atacantes pueden utilizar aprovechando las credenciales que la organización le ha entregado.

Figura 6: Glitch en Wikipedia ES

En este caso, todo iba bien, hasta que en uno de los procesos, por la iluminación, un fallo en el equipo, o por simplemente el azar, el software de DeepFake sufrió un Glitch, es decir, un fallo momentáneo como los que tiene nuestra querida Vanellope von Schweetz en la película de Rompe Ralph, y el proceso de Know Your Customer grabó su imagen por un segundo. Si no... difícil cada vez más detectar a estos "Replicantes Digitales".

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Sentimetrics: Detector de Deepfakes basado en las emociones de la comunicación al estilo Blade Runner

Continuando con la charla de "Laife gets better", si la primera parte era para la película TRON y el BASIC 1.0 Copilot para AMSTRAD CPC 6128, la segunda parte era para nuestra querida Blade Runner y la detección de DeepFakes. Esta es un área de investigación que hemos estado trabajando durante un largo periodo de tiempo, y de la que hablado en muchos artículos y conferencias.

Figura 1: Sentimetrics, un detector de Deepfakes basado en las

emociones de la comunicación al estilo Blade Runner

En la película Blade Runner sale el Test de Voigh-Kampff, que nosotros llevamos tiempo creando para la detección de Deepfakes en vídeos, en tiempo real en vídeo conferencias, o vía API. En esta escena se ve cómo funciona dicha prueba para detectar a los replicantes.

Figura 2: Test de Voigh-Kampff en Blare Runner

En el caso de las DeepFakes, igual que se apalancan en la Inteligencia Artificial para ser creadas, la Inteligencia Artificial se puede utilizar para detectarlas. Hay muchas técnicas, y en esta charla de "Blade Runners on GenAI" yo hablé de muchas de ellas.

Figura 3: Blade Runners on GenAI

Pero si queréis leer algunos artículos y papers sobre ellas, os dejo la lista de los que he ido publicando por mi blog a lo largo de estos últimos años.

- Una historia de Blade Runners & Virtual Replicants

- Cómo crear un Test de Voight-Kampff para DeepFakes: Detección de Artefactos

- Cómo crear un Test de Voight-Kampff para DeepFakes: Blinking, Pulse & Gaze Tracking

- Cómo crear un Test de Voight-Kampff para DeepFakes: Iris Lights, Head Pose, Histrogramas

- Detectar DeepFakes por EyeGaze Printing

- DeepFakes & Digital Onboarding: Verificación de identidad en plataformas digitales

- Deep Live Cam & VerifAI: Detección de DeepFakes en Vídeo Conferencias

- Are Yo Talkin' ta me? Detección de Deepfakes en Voces

Son muchos los artículos y charlas que he dado de este tema, e incluso hemos puesto en producción el servicio de Análisis Forense de Imágenes, Vídeos y Audios manipulados con IA llamado Tu VerifAI que te da un completo informe pasando todos los algoritmos que conocemos hoy en día. El informe que hace de un vídeo lo tenéis en este ejemplo que os he subido a SlideShare.

Figura 4: Informe del Análisis Forense completo

Pero llevábamos tiempo trabajando en una idea para detectar DeepFakes en tiempo real o en vídeos, haciendo un cruzado de los sentimientos que se pueden leer con Inteligencia Artificial de las expresiones faciales, del mensaje que se dice, y del tono que hay en la onda de sonido portadora del mensaje. Y así nació Sentimetrics.

Sentimetrics: Un detector de Deepfakes basado en el sentimiento de la comunicación

Sentimetrics es un proceso de detección de Deepfakes por incongruencia en las emociones que se capturan en una conversación por diferentes canales, como son:

• Expresión facial
• Mensaje comunicado
• Tono del audio utilizado

Este proceso permite cruzar en un time-line cuáles son los puntos emocionales que tienen congruencia o que no lo tiene, con lo que se tiene un vector nuevo para encontrar indicios de la existencia de no-humano detrás de la conversación. Al igual que el Test de Voigh-Kampff se trata de la búsqueda de reacciones emocionales que no concuerdan, como podéis ver en este vídeo.

Figura 5: Sentimetrics "Inconsistencia"

En el ejemplo del vídeo anterior podemos ver que la expresión facial es normal, el tono del audio es neutro, pero el texto del mensaje parece alegre. Algo que suena extraño. De hecho, nuestro compañero Fran ha tenido que hacer auténticos ejercicios de teatro para controlar las tres piezas de la comunicación y conseguir los ejemplos para las demos. Aquí le tenemos en otra inconsistencia.

Figura 6: Sentimetrics "Inconsistencia"

En este caso la expresión facial, y el tono del audio es alegre, pero el texto del mensaje es triste, así que hay incongruencia. Esta búsqueda de incongruencias es un vector más de detección de DeepFakes, que puede ser de utilidad en una vídeo conferencia en tiempo real, pero también en vídeos manipulados.

Figura 7: Análisis de Congruencias en casos reales y DeepFakes

Como podéis ver, la distribución de eomociones congruentes y no congruentes tiene picos y muestran menos congruencia que los vídeos sin manipular, donde ese valor de congruencia es mayor. En el siguiente ejemplo tenéis lo mismo en inglés.

Figura 8: Mi nombre es Iñigo Montoya...

Para probar la tecnología, hemos hecho una captura de vídeo y grabamos el audio con PyAudio. El audio lo procesamos con Whisper para sacar el contenido del mensaje y este lo analizamos con PySentimiento. En pantalla puedes ver la onda de audio que se hace para confirmar su grabación, y después se hace un espectrograma del audio con Librosa para acabar haciendo un análisis de la emoción del audio con Hubert-Base for Emotion Recognition.

Figura 9: Patente de Sentimetrics

La patente, como podéis ver, la depositamos en diciembre del año pasado, y una de las cosas que hemos estado trabajando es cómo detectar los falsos positivos que se pueden dar por el uso de la Ironía o el Sarcasmo, algo que puede ser difícil para la Inteligencia Artificial. Aquí un ejemplo de Sarcasmo en inglés.

Figura 10: Sarcasmo en inglés

Para el análisis del Sarcasmo utilizamos el modelo de twitter-roberta-base-irony y para la Ironía, la propia PySentimiento ofrece ese análisis. En el vídeo siguiente os he dejado todas las pruebas hechas seguidas para que podáis ver alguna más en español e inglés. 

Figura 11: Sentimetrics - Demos y ejemplos

Al final, si los tres elementos, es decir, expresión facial, emoción del mensaje, emoción de la voz en la transmisión del mensaje, coinciden, entonces la congruencia es un Match, y no se detecta como una inconsistencia. Si se detectan que el audio va por un sitio (mensaje y tono) y no coincide con la expresión facial, es un No Match, y si las tres difieren, entonces es una Inconsistencia.

¿Y el audio clonado?

En la siguiente parte hablamos de los audios clonados y de nuestros trabajos de HashVoide & Clone Detector que os voy a contar el próximo día. Por hoy sólo Sentimetrics

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)