Mostrando entradas con la etiqueta deep fakes. Mostrar todas las entradas
Mostrando entradas con la etiqueta deep fakes. Mostrar todas las entradas

jueves, agosto 21, 2025

Cómo una imagen hecha con Morphing puede generar Match con dos personas en el Reconocimiento Facial del Control de Pasaportes

No es que esta semana tuviera marcado en el calendario que iba a hablar de Facial Recognition & Face Comparison, pero es es el tercer artículo seguido que dedico a esto después de hablar "Sobre la Fiabilidad del Reconocimiento Facial en Imágenes de Cámaras de Seguridad" y "Sobre descubrir dobles de líderes mundiales con Facial Recognition Technology". Hoy hay que hablar de los riesgos de las imágenes hechas con técnicas de Morphing para la detección de suplantación de identidades en controles con Reconocimiento Facial, como el que hay en las fronteras de los aeropuertos, por ejemplo.
Una imagen Morph o hecha con técnicas de Morphing se hace a partir de otras dos imágenes originales, que pueden pertenecer a dos personas diferentes, que pueden ser diferentes sexo, raza o edad. Es un algoritmo de Inteligencia Artificial que mezcla los rasgos de esas dos personas para dar una nueva persona. 

Figura 2: La imagen de la izquierda es una imagen Morph de la
suma de las fotografías de la derecha. De 2 personas distintas.

En esencia se parece a las técnicas de StyleGAN, pero hecho a partir de dos personas reales para que la imagen Morph tenga la esencia de las dos anteriores. Esto provoca que se produzcan situaciones de seguridad muy interesante, que el NIST ha publicado en una documento titulado: "Face Analysis Technology Evaluation (FATE) MORPH. Considerations for Implementing Morph Detection in Operations" y que puedes leer online.
Esto, que inicialmente parece un ejercicio tecnológico visual curioso , puede ser utilizado para crear personas que no existen, como en el caso de las StyleGAN, pero también pueden acabar siendo utilizadas de forma impresas en documentos oficiales como un Pasaporte Nacional al que aplica una persona.
El riesgo, como ha alertado en una presentación del National Institute of Standards and Technology que puedes leer online, es que esa imagen Morph puede dar Match a las dos personas que se utilizaron para construirla.
El riesgo que esto tiene es muy grande, porque una persona puede ir a sacarse el Pasaporte con una Imagen Morph, y luego esa fotografía podría validar a otra persona en los sistemas de Reconocimiento Facial de la frontera, con lo que se estaría colando en un país alguien que no es la persona identificada.
Esto se produce porque los sistemas de Facial Recognition tienen un sistema de validez del Match basado en Thresholds de Similitud, y esto no es algo válido cuando se trata de Verificación de una Identidad, donde hay rasgos que deben ser conclusivos. Por ejemplo, podemos tener un grado de similitud en dos personas en 90% y resulta que son de diferente raza. 
Las imágenes Morph, para que funcione la magia, hacen una manipulación de los rasgos fundamentales como los ojos, la nariz, los labios, etcétera, haciendo manipulación en forma de artefactos que son mezcla de los rasgos de las dos imágenes originales. Esto lleva a que en esos puntos se cree la magia tecnológica de la manipulación, y es lo que permite el problema anterior.
Según la presentación publicada, en los Estados Unidos han tenido más de 1.000 casos de pasaportes hechos con imágenes Morph, ya que estas - si engañan a un sistema de Facial Recognition - con dos personas con cierta similitud y una imagen Morph, pueden engañar a las personas. No todos nos parecemos tanto a nuestras fotos de los documentos de identidad.
El NIST está proponiendo utilizar en todas las aplicaciones para obtención de Pasaportes o Documentos de Identidad, un sistema de detección de Imágenes Morph, buscando detectar los artefactos dejados por la aplicaciones más comunes utilizadas para la generación de estas imágenes, revisar los metadatos de las fotografías, buscando información EXIFF que pueda delatar la manipulación con herramientas digitales.
La segunda parte consiste en hacer análisis entre la imagen de la persona en la cámara de Facial Recognition y la Imagen Morph, buscando rasgos deterministas de la identidad, como una cicatriz o un lunar que falta en la fotografía o en la imagen de la cámara en la frontera, para generar una alerta de seguridad.
En esos casos, aunque la Similitud del algoritmo de Face Comparison sea alta, existe un elemento - la cicatriz - que invalida la identidad, por lo que se debe levantar una alerta de seguridad.
Por último, para detectar si es una Imagen Morph que está siendo utilizado por una o dos personas, se puede tener en cuenta esta distribución entre Identidad y Similitud. Cuando es original, hay un pico de Similitud muy alto, mientras que que cuando es una Imagen Morph da un pico de Similitud más rebajado y, si en la base de datos hay dos personas, la distribución de Similitud se extiende entre más imágenes.
Sin embargo, si usamos la misma base de datos, pero buscando con una Imagen Morph de esa persona (con otra que no está en la base de datos), los índices de Similitud se reducen.
Si las dos personas a partir de las que se ha creado la Imagen Morph está en la base de datos, los resultados de Similitud en el algoritmo de Facial Comparison son menos acentuados, tal y como se veía en la gráfica de la Figura 12.
El uso de las herramientas de Inteligencia Artificial Generativa aplicadas al mundo de las generación de imágenes crea, como hemos visto en este artículo, nuevas amenazas y nuevas brechas de seguridad que hay que mitigar, como se puede observar, hay que estudiar los detalles para poder contra restarlas. Muy interesante este trabajo.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


martes, agosto 19, 2025

Sobre la Fiabilidad del Reconocimiento Facial en Imágenes de Cámaras de Seguridad

No es la primera vez que el debate del Reconocimiento Facial ocupa parte de este espacio. En el año 2023, en el artículo titulado "Detecciones policiales erróneas por "falsos positivos" en Reconocimiento Facial" se contaba la historia de cómo una mujer fue detenida y llevada a juicio por un reconocimiento facial a partir de imágenes de una cámara de seguridad, donde se olvidaron el detalle de que en ese momento, la mujer detenida estaba embarazada de 8 meses. Algo que no detectó el algoritmo de reconocimiento facial pero que era muy fácil de comprobar en su momento.
Estos sesgos, fallos y alucinaciones en forma de Falsos Positivos (FP) y Falsos Negativos (FN), los hemos visto muchas veces en los algoritmos de reconocimiento facial. Usando clasificadores basados en técnicas de Machine Learning, vimos cómo un algoritmo podría fallar si las condiciones de calidad de la imagen no eran idóneas, como os publiqué en el artículo de "Cómo un algoritmo de Machine Learning puede tener prejuicios o sesgos y afectar a la vida de las personas. Un ejemplo con un algoritmo al que le gusta la piel clara" escrito por Alberto Rivera y Marcos Rivera.

Figura 2: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen TorranoFran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

En los modernos Cognitive Services de Reconocimiento Facial, yo he puesto muchas veces el ejemplo de "hallucination" cuando me confundían en fotos a mí con el actor George Clooney, algo que creo que salta a la vista que no debería pasar de ninguna manera, y que sin embargo ha sucedido en más de una ocasión. Si sabemos que hay Sesgos, Falsos Positivos, Falsos Negativos o Hallucinations... ¿Podemos fiarnos de la Tecnología de Reconocimiento Facial (Facial Recognition Technology - FRT) ? Cuando la utilizamos con imágenes de cámaras de seguridad de baja calidad o en condiciones que no son las ideales... ¿son realmente fiables estas tecnologías? 

De esto va el paper que se ha publicado en Junio de este año, titulado "Accuracy and Fairness of Facial Recognition Technology in Low-Quality Police Images: An Experiment With Synthetic Faces" donde se ha hecho un experimento con 50.000 imágenes sintéticas para localizar los Ratios de Falsos Positivos y Falsos Negativos de algunas de las tecnologías de FRT utilizadas en investigaciones policiales.
Si miramos las imágenes con las que cuentan las FRTs para reconocer a las individuos, no son siempre ni a la mejor resolución, ni con la mejor calidad, ni con el mejor ángulo de enfoque, con lo que tienen una dura misión para detectar un Match de Reconocimiento facial que no sea más allá que "un indicio" leve para investigar después, pero parece imposible que se pueda utilizar como una prueba concluyente.
Para localizar estos Ratios de Falsos Positivos (FPR) y de Falsos Negativos (FNR), se ha hecho un experimento en el artículo generando 50.000 imágenes sintéticas utilizando un modelo de StyleGAN3. Estas imágenes se han catalogado después en función de sexo y raza para conseguir una dispersión mayor y probarla con diferentes tipos de personas.
La distribución de estas personas, en función de sexo y raza es más o menos homogénea en sexo, pero en raza se ha hecho una distribución sesgada entre raza blanca, negra y asiática, para probarlo en un entrono similar al que puede tener un país como los Estados Unidos.
Ahora, lo siguiente que se ha hecho ha sido manipular esas imágenes para ponerlas en condiciones similares a las que se tienen las cámaras de seguridad y muchas de las investigaciones policiales, haciendo distorsiones de resolución, brillo, contraste, color, etcétera, y probar en condiciones NO ideales, que es a lo que se tienen que enfrentar las FRT de los cuerpos de seguridad que investigan los delitos.
Ahora, una vez que se tienen las imágenes generadas, se corren los procesos con las FRT para calcular el número de Falsos Positivos (FP), el Total de Positivos (TP), el número de Falsos Negativos (FN),  Total de Negativos (TN), el Ratio de Falsos Positivos (FPR) y el Ratio de Falsos Negativos (FNR) todos ellos normalizados con el porcentaje de del sexo y raza de la población, para hacer una estimación más fiable de estos valores. Todos estos valores se miden haciendo búsquedas con objetivos en la base de datos, y con objetivos que no están en la base de datos - y que deberían no dar ninguna coincidencia -.
Y los resultados, como podríais imaginar son que tenemos un número significativo de Falsos Positivos, de Falsos Negativos, con sesgos más marcados por sexo y raza. En la siguiente tabla tenemos los Ratios de Falsos Positivos y Ratio de Falsos Negativos en función de la degradación de calidad de la imagen de búsqueda.
Pero, si lo miramos por tipo de degradación de la imagen, y por raza y género, vemos que los FPR y FNR son sensiblemente diferentes. Por ejemplo, hay más Falsos Negativos con imágenes de mujeres blancas con mala calidad de contraste que mujeres negras, pero hay más Falsos Positivos en mujeres negras que en mujeres blancas
Pero es que si miramos cualquiera de las degradaciones de calidad, vemos que las FRT tienen diferentes FNR y FPR por raza y sexo, lo que hace que sea más propenso a dar un Falso Positivo o un Falso Negativo si tu raza es una u otra. Lo que hace que haya que poner estas tecnologías como indicios en las investigaciones policiales, pero nunca como prueba definitiva.
Este tipo de investigaciones hacen que corrijamos errores que podemos cometer con la tecnología y que pueden afectar de manera muy seria a la vida de las personas. Por todo ello, si eres de los que te dedicas a hacer informes periciales o análisis forenses, conocer estos datos son fundamentales para ajustar tus conclusiones en su justa medida. Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los postspapers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligen

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


miércoles, junio 25, 2025

+300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial

Hace un mes comencé a recuperar en un post mi interés en los últimos años, donde he publicado muchos artículos en este blog, y he dejado muchas referencias a otros artículos y papers académicos relativos al mundo de Hacking y la Ciberseguridad relacionado con la Inteligencia Artificial. Cada vez me cuesta más recopilarlos todos, o acordarme dónde lo publiqué, así que he ido  durante ese mes construyendo este post de hoy, en el que voy a seguir catalogando y recopilando todos ellos por diferentes categorías, pero que ya ha superado las 300 referencias. Todo esto, como parte de la carrera mundial por dominar la Súper Inteligencia Artificial.

Figura 1: +300 referencias a papers, posts y talks de
Hacking & Security con Inteligencia Artificial

Como os dije, no va a ser un artículo publicado y ya, sino que volveré a él cada vez que publique algo, y donde iré actualizando la información que vaya teniendo sobre el tema, así que, si te interesa el mundo de la Inteligencia Artificial, el Hacking con IA, o el Hacking de IA, apúntate este enlace que haré porque siempre tenga la información actualizada.

Charlas y Libros
IA Papers & Posts
Hacking LLM Apps & Services Posts
      Prompt Injection & Jaiblreak Posts
      Prompt Injection & Jailbreak Papers
      Seguridad frente a Prompt Injection & Jailbreak Posts
      Seguridad frente a Prompt Injection & Jailbreak Papers
      Hallucinations Posts
      Hallucinations Papers
      BIAS en IA posts
      BIAS en IA papers
      Data Poisoning Posts
      Diclosure of Sensitive Data Posts
      Diclosure of Sensitive Data Papers
        Hacking con IA Posts
        Hacking con IA Papers
        ByPassing Cognitive Captchas with AI
        MisInformation & Fake News with IA
        MissInformation & Fake News Papers
        DeepFakes Posts
        DeepFakes Papers
        No son todos los que he publicado sobre este tema, ni seguro que serán todos los que tendré publicados en el futuro, pero os dejo este post por si queréis tenerlo guardado para venir y ver los diferentes documentos sobre estos temas, que como podéis ver, son una buena cantidad.

        ¡Saludos Malignos!

        Autor: Chema Alonso (Contactar con Chema Alonso)  


        Entrada destacada

        +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial

        Hace un mes comencé a recuperar en un post mi interés en los últimos años, donde he publicado muchos artículos en este blog , y he dejado mu...

        Entradas populares