Cómo acelerar los algoritmos de Inteligencia Artificial con Computadores Analógicos Ópticos (AOC)

Hace tiempo que tenemos en el mundo de la tecnología la llamada llegada Muerte de la Ley de Moore, porque los límites físicos están haciendo imposible crecer exponencialmente en una integración mayor con las tecnologías actuales. Eso hace que se estén trabajando desde hace mucho, mucho tiempo, en otras soluciones basadas en aproximaciones físicas totalmente diferentes, como son los ordenadores cuánticos o la computación fotónica. Mientras llegan nuevos ordenadores completos totalmente funcional, la industria busca solucionar el problema con Optimizadores Hardware que aceleren determinadas partes de los algoritmos que son costosas en tiempo, para lograr eficiencias en su ejecución.

Figura 1: Cómo acelerar los algoritmos de Inteligencia Artificial

con Computadores Analógicos Ópticos (AOC)

El uso de las GPUs es un claro ejemplo de un optimizador hecho a partir de un hardware dedicado, o los chips fotónicos de Lightmatter que utilizan tecnología fotónica para ciertas operaciones, lo que permite resolver algunos problemas mejor que los microprocesadores tradicionales. En el mundo de la tecnología Quantica hemos tenido ejemplos con intentos de optimización de la factorización RSA utilizado optimizadores Quantum Annealing, aunque no parece que el resultado fuera exitoso.

Figura 2: Analog Iterative Machine (AIM) - using light to solve

quadratic optimization problems with mixed variables

Los equipos de Microsoft Research Analog Optical Computer llevan años trabando con tecnología fotónica, pero no para comunicación cuántica o para sistemas de distribución de claves QKD usando propiedades cuánticas, sino para hacer optimización de cálculos en los algoritmos mediante el uso de computación óptica, jugando con la luz. El primer paper lo tenéis arriba, publicado en el año 2023, titulado: "Analog Iterative Machine (AIM): using light to solve quadratic optimization problems with mixed variables" y donde habla de su Analog Interactive Machine (AIM) para construir Analog Optimizer Computers (AOC).

Figura 3: Microsoft Research Analog Optical Computer

Todo este proceso de investigación, esa muy bien explicado en el vídeo que tenéis arriba, y podéis leeros los dos papers que han publicado, y visitar la web de Microsoft Research Analog Optical Computer, que es lo que he estado haciendo yo este fin de semana. En ellos explican el fundamento básico, que se apoya en haces de luz que se modulan en una matriz de puntos de intensidad para generar un conjunto matricial de puntos de colores, lo que significa que por cada punto de luz de la matriz resultante tenemos el impacto del haz de luz modulado (operado matemáticamente) por la matriz de moduladores, que puede ser capturado por un array de cámaras.

Figura 4: Multiplicación Óptica

Ésta es una operación óptica básica que permite multiplicar un vector por una matriz, que es una operación muy común que se utiliza en muchos algoritmos complejos. ¿Cuál es la ventaja? Pues que esta operación se hace a la velocidad de la luz, así que lo que los investigadores pensaron es ¿qué algoritmos se benefician de este tipo de optimización? Y ahí aparecieron los algoritmos QUMO.

"Los problemas "Quadratic Unconstrained Mixed Optimizations with all-to-all Connectivity" consisten en encontrar la configuración óptima de variables (enteras y binarias) que minimizan (o maximizan) una función cuadrática, donde no hay restricciones directas y todas las variables pueden interactuar entre sí" (fuente)

Este problema, que también se está abordando desde el prisma de uso de Optimizadores Quantum Anheling, es un problema donde existen muchas variables donde todas impactan en la optimización del problema. El problema típico es el de elegir la mejor inversión en la bolsa teniendo en cuenta que las variables cambian a lo largo del tiempo, y que todas las variables están relacionadas porque si se desinvierte en una se invierte en otra, y puede tener un impacto global en la solución.

Figura 5: Problema típico QUMO

En estos algoritmos el objetivo es maximizar el retorno y minimizar el riesgo, así que son dos variables que miden el riesgo y el beneficio, con una matriz de opciones de inversión, pero que van variando a lo largo del tiempo. 

Figura 6: Solución con algoritmo Gradien-Descent

Este tipo de problemas, utilizando un algoritmo de solución llamado Gradient-Descent, porque se trata de elegir puntos de inversión inicial para llegar a una zona final óptima minimizando la energía, que en el ejemplo son los valores de riesgo y beneficio. Al final, exige una iteración a lo largo del tiempo de una multiplicación de vector por matrices, algo que se puede hacer on un Optimizador Analógico Óptico.

Figura 7: El AOC se conecta a un ordenador digital

Este proceso se hace a la velocidad de luz, y permite conectarse con un equipo normal, lo que haría que estas operaciones fueran muy rápido, acelerando la ejecución del algoritmo. Este trabajo lo han presentado en el artículo que ha sido publicado en la revista Nature este pasado 3 de Septiembre, titulado: "Analog optical computer for AI inference and combinatorial optimization".

Figura 8: Analog optical computer for AI inference and combinatorial optimization

En el artículo, no solo han hecho pruebas en simulador, sino que han probado diferentes algoritmos utilizados hoy en día basados en problemas QUMO, con uno de los últimos prototipos que han construido, y que tiene un aspecto aún lejos de estar en producción.

Figura 9: El AOC creado con cuatro módulos.

Los módulos marcados con los números 1, 2, 3 y 4 de este computador son los que en la imagen de la Figura 7 están descritos conceptualmente, y que en la imagen siguientes veis desmontados del equipo para verlos mejor.

Figura 10: Los elementos del AOC

Como véis, para hacer una multiplicación de un vector por una matriz necesitamos dos operaciones básicas, que son la multiplicación - realizada con el modulador de intensidad que da una pantalla de resultados en forma de colores, y la suma se realiza con la cámara, para llevar el resultado final a la electrónica que conecta con el computador digital habitual.

Figura 11: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

En el paper publicado en Nature, los investigadores han probado su algoritmo en cuatro algoritmos que encajan con necesidades QUMO en ciertas partes y hacen un uso intensivo de la multiplicación de vectores por matrices, como la reconstrucción de imagen médica, el problema de inversión financiera del que hemos hablando anteriormente, algoritmos de clasificación complejos utilizados en Machine Learning o los algoritmos de Regresión No Lineales que se usan en los modernos modelos de Inteligencia Artificial.

Figura 12: Problemas optimizados con el AOC

Los resultados, en todos los casos, mejoran los benchmarks anteriores, dando mejores soluciones, en menor tiempo, y mostrando un prometedor futuro para este tipo de Optimizadores Analógicos Ópticos, que ponen a la tecnología fotónica en un momento dulce.

Figura 13: Resultados optenidos

En los diferentes problemas, el uso de AOC ha conseguido resultados de mejor calidad, nuevas soluciones, mejoras de tiempo, y mejores resultados en los Benchmarks. Es el objetivo de los optimizadores, conseguir una mejora de una parte de un algoritmo para conseguir una mejora en el algoritmo completo. 

Figura 14: Primeros AIM utilizados

Los primeros equipos que enseñó el equipo de Microsoft Research Analog Optical Computer han mejorado mucho su tamaño, pero aún están lejos de estar en producción, pero es un ejemplo claro de cómo la ciencia mejora nuestra tecnología, y esto seguro que no demasiado lejos en el tiempo veremos estas tecnologías en los datacentes en los que corremos nuestros modelos de IA - que, también nos sirven para optimizar nuestros algoritmos, como ya hemos visto como Alpha Evolve.-.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

EducaGPT: Plataforma de educación para niños y niñas usando Inteligencia Artificial

Hola, soy Daniel Atik, emprendedor español que vive en Chile desde hace casi 20 años y, ante todo, papá de Laia. Muchas de las ideas que han marcado mi camino en mis últimos diez años nacieron de ella: de escuchar sus preguntas infinitas y de buscar la manera de acompañar su curiosidad sin apagarla. Hoy, en un mundo donde el conocimiento está al alcance de cualquiera con un clic, la verdadera ventaja no está en acumular información, sino en saber discernir cuál es la correcta y relevante para cada uno. Y, sobre todo, en la capacidad de aprender con rapidez, adaptarse a los cambios y desarrollar un pensamiento crítico capaz de cuestionar, interpretar y transformar esa información en valor.

Figura 1: EducaGPT: Plataforma de educación para

niños y niñas usando Inteligencia Artificial

Por eso estoy convencido de que la educación necesita un cambio desde la raíz. No basta con ajustar programas o añadir más horas de clases: es necesario replantear cómo aprenden los estudiantes y cómo los acompañamos en ese camino. Ese cambio profundo no depende de la tecnología, porque lo esencial seguirá siendo humano: la relación viva entre el niño, sus educadores y su entorno. Sin embargo, la tecnología puede ser un catalizador poderoso, capaz de acelerar y potenciar ese cambio, abrir nuevas posibilidades y devolver a los educadores tiempo y herramientas para enfocarse en lo que realmente importa: acompañar a cada niño en su camino único de aprendizaje.

De ahí nació EducaGPT. Siempre he sentido que la educación arrastra un problema de base: suele tratar a todos los niños como si fueran iguales, cuando en realidad cada uno es único, con intereses propios y ritmos de aprendizaje diferentes. EducaGPT es mi manera de enfrentar ese desafío: una plataforma que utiliza inteligencia artificial no para reemplazar, sino para acompañar. Un espacio donde cada niño puede aprender a su manera, en un entorno que se adapta a su curiosidad, a sus necesidades y a su ritmo de desarrollo.

Figura 2: Vídeo explicativo de la demo de EducaGPTAquí se muestra de manera concreta lo que intento lograr.

Ahora bien, para que esto ocurra, los profesores y los centros educativos tienen un desafío enorme: primero comprender cómo funciona esta tecnología, conocer sus alcances y limitaciones, y luego repensar juntos cómo re-crear la educación, con qué metodologías y herramientas. Solo así podremos integrar la inteligencia artificial como un verdadero aliado, al servicio de una transformación educativa que coloque a cada niño y niña en el centro.

Construir EducaGPT ha sido un viaje lleno de pruebas, errores y aprendizajes compartidos con familias y educadores. Lo que me impulsa es simple: que aprender sea tan emocionante como jugar, y que quienes guían a los niños tengan herramientas que les devuelvan tiempo, claridad y confianza para acompañarlos mejor.

¿Qué es EducaGPT y cómo funciona?

EducaGPT es una plataforma educativa gratuita, basada en inteligencia artificial, que ofrece experiencias de aprendizaje híper personalizadas y alineadas con el currículum escolar de cada niño y niña según la región o el país donde resida.

La idea es sencilla: cada estudiante tiene un perfil único. El sistema adapta los contenidos a su edad, intereses, nivel y objetivos definidos por sus educadores o tutores. Esto significa que no se limita a dar “respuestas automáticas”, sino que construye un recorrido de aprendizaje coherente, donde cada actividad conecta con lo que el niño necesita aprender en ese momento.

Figura 3: Cómo funciona EducaGPT

Los educadores y tutores pueden administrar objetivos de aprendizaje de manera personalizada, crear artefactos digitales interactivos (Los Playgrounds que pueden ser ejercicios, juegos, actividades guiadas) y hacer un seguimiento del avance con reportes pedagógicos claros. Estos reportes muestran en qué temas el niño progresa con facilidad y dónde necesita más apoyo, lo que permite intervenir a tiempo y de forma precisa.

EducaGPT ha estado siendo usado durante más de dos años en Open Montessori, el proyecto educativo que dirige mi mujer Marcela, y los resultados han sido muy positivos: niños más motivados, aprendizajes más fluidos y, sobre todo, familias y educadores que sienten que tienen una herramienta que suma, en lugar de complicar. EducaGPT les ayuda a focalizar a cada niño y niña en lo que necesita en cada etapa, ofreciendo la posibilidad de practicar de manera ilimitada en las áreas donde más apoyo requiere, hasta consolidar sus aprendizajes.

Seguridad y confianza en el aprendizaje

Desde el inicio tuve claro que EducaGPT debía enfocarse no solo en el aprendizaje, sino también en la seguridad. Internet está lleno de distracciones y contenidos inapropiados, y no tiene sentido abrir una puerta de aprendizaje si al mismo tiempo expones a los niños a lo que no corresponde.

Figura 4: Demo de EducaGPT Explorer

Por eso desarrollé además un navegador propio, EducaGPT Explorer, potenciado con IA, que filtra automáticamente redes sociales, violencia, publicidad invasiva y sitios que no aportan valor pedagógico. Lo que queda es un espacio de exploración segura, donde el niño puede navegar y aprender sin riesgos, y siempre con supervisión de los adultos.

Beneficios:

• Para los niños y niñas: aprender a su ritmo, con contenidos que les interesan y actividades que los motivan.

• Para los educadores y tutores: visibilidad real del progreso, reportes claros y herramientas para diseñar experiencias personalizadas.

• Para las familias: la tranquilidad de un entorno seguro, sin distracciones ni exposición a contenidos dañinos.

• Para las escuelas: una manera de innovar sin perder el foco en el currículum oficial y los objetivos pedagógicos.

Ejemplos de casos de uso

Imagina un niño de 9 años que tiene dificultades con la división, pero que al mismo tiempo muestra gran interés por la astronomía. En EducaGPT, sus ejercicios de matemáticas pueden plantearse a partir de ejemplos del universo: repartir planetas entre astronautas o calcular distancias entre estrellas. De esa forma, practica lo que necesita mientras se conecta con lo que más le apasiona.

Otro caso puede ser el de una niña que ya domina las fracciones, pero que aún presenta inseguridad al expresarse en público. Un tutor puede asignarle un Playground interactivo en el que tenga que explicar, paso a paso, cómo resolvió un problema. El sistema le ofrece retroalimentación automática y el educador recibe un reporte claro para ver si necesita más acompañamiento en comunicación oral.

Figura 5: Asignación de objetivos de aprendizaje

También hay ejemplos en contextos escolares más amplios. Un profesor de historia puede crear un artefacto digital donde los estudiantes deban responder preguntas sobre Roma o Grecia, con niveles adaptativos según el avance de cada uno. Mientras unos practican conceptos básicos, otros reciben desafíos más complejos. El mismo ejercicio, pero con dificultad ajustada a cada estudiante.

Figura 6: Creación de artefactos educativos con IA

Y para las familias, EducaGPT representa tranquilidad. Un padre puede ver en un reporte que su hija ha dedicado 30 minutos a lectura comprensiva y ha mejorado en vocabulario, mientras que todavía tiene dificultades en comprensión inferencial. Esa visibilidad permite apoyar desde casa con claridad, sin necesidad de adivinar por dónde empezar.

Figura 7: Reporte de Estudiantes

Y esto es solamente el principio, pronto llegarán nuevas herramientas y funcionalidades para ayudar a Estudiantes, Educadores y Familias a personalizar aún más sus objetivos, crear experiencias de aprendizaje más ricas e interactivas, y contar con métricas claras que les permitan acompañar mejor cada paso del camino educativo.

Una invitación a co-crear EducaGPT.

Debo agradecer a Chema Alonso, por abrirme este espacio, y a todos los que creen que la educación puede cambiar si la pensamos desde la esencia de cada niño. Hoy, miles de estudiantes, educadores y tutores ya utilizan EducaGPT en 54 países, y la comunidad sigue creciendo y expandiéndose. Y esto, para mí, es solo el comienzo.

Por eso, quiero extender una invitación a co-crear: a educadores, familias, investigadores y a todos los que sueñan con una educación distinta, para que juntos pensemos nuevas metodologías, actividades y herramientas que hagan de EducaGPT un espacio vivo, en constante evolución y al servicio de quienes más lo necesitan: los niños y niñas.

Un saludo,

Autor: Daniel Atik fundador de EducaGPT

Contactar con Daniel Atik

Las ilusiones de las ilusiones que generan alucinaciones en los modelos visuales de inteligencia artificial

Las ilusiones visuales se producen cuando, para entender mejor nuestro alrededor, nuestros cerebros nos engañan manipulando el mundo que vemos. Es una confusión, o alucinación de nuestro cerebro, provocada por la re-interpretación de los estímulos visuales que hace nuestro cerebro. Líneas que parecen de diferente tamaño según cuál es la forma de los extremos, círculos que parecen más grandes o más pequeños en función de lo que les rodea, o dibujos que parecen cabezas de patos o conejos según se orienten. Es un mundo de ilusiones que llevamos años investigando como parte del camino de descubrimiento de cómo funciona nuestro órgano más desconocido - aún - "el cerebro".

Figura 1: Las ilusiones de las ilusiones que generan alucinaciones

en los modelos visuales de inteligencia artificial

En el mundo de la Inteligencia Artificial de los Modelos Visuales tienen que lidiar también con ellos, pero lo peculiar es que en ellos su cerebro no funciona como el nuestro. Clasificar imágenes es un proceso de clasificación, que bien podría ser un algoritmo de Machine Learning, sin una re-interpretación del mundo según se vea la imagen. Pero aún así, tienen que convivir con nuestra percepción del mundo.

Figura 2: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

Los modelos de IA no pueden ver nuestras Ilusiones, aunque ellos tengan Alucinaciones, pero deben saber que nosotros las vemos, por lo que deben reconocer que están ante una imagen de una Ilusión y a partir de ahí entender lo que le estamos preguntando, lo que queremos que razone, etcétera. Esto, genera una situación un tanto curiosa, como hemos visto en el artículo titulado: "The Illusion-Illusion: Vision Language Models See Illusions Where There are None" porque para reconocer nuestras ilusiones, su proceso de entrenamiento acaba llevándolos a ver ilusiones donde no las hay.

Figura 3: "The Illusion-Illusion: Vision Language Models

See Illusions Where There are None"

Al final, lo que sucede es que para reconocer que está ante una de nuestras ilusiones, se entrena el modelo con datos, y consigue reconocer la ilusión cuando la ve. Pero, la gracia está que, cuando se encuentra frente a una imagen que tiene similitud con la imagen de nuestra ilusión, la reconoce como si fuera la ilusión... y falla estrepitósamente.

Figura 4: La ilusión de la ilusión hace fallar al modelo visual

En el artículo del que os estoy hablando, los investigadores han generado imágenes que son ilusión de la ilusión o Ilusion-Ilusion en el paper, y ha probado cómo se comportan los diferentes modelos visuales de los principales MM-LLMs que tenemos hoy en día.

Figura 5: Ejemplos de Ilusion-Ilusion

Además de la probar la imagen de la Ilusion y de la Ilusion-Ilusion, han creado imágenes de Control que son justo la parte que deben evaluar para responder a la pregunta y detectar si es una ilusión o no. Es decir, dejando la parte clave de la imagen para eliminar el efecto de ilusión que provocan los elementos accesorios en nuestro cerebro.

Figura 6: Ilusión, Ilusión-Ilusión e imágenes de Control

Y ahora, con cada grupo de ilusiones, a probar cómo lo reconocen los principales Multi-Modal LLMs que tenemos hoy en día, donde los resultados son bastante curiosos.  Primero con el Basic Prompt, que es la pregunta que se le haría a una persona para ver si cae o no en la ilusión. Son prompts donde no se le dice que hay una ilusión, y tiene que detectarla. 

Figura 7: Grado de acierto en las respuestas de los modelos de IA

El grado de acierto con las imágenes de ilusiones es alto en GPT4, Claude3 y Gemini Pro, y más bajo en el resto, pero de igual forma estos mismos fallan mucho con las Ilusion-Ilusion donde cree que son ilusiones y no responden correctamente a la pregunta. Y con las imágenes de Control entre medias de ambos resultados. 

Figura 8: Diciéndoles que la imagen es una ilusión

En la Figura 8 tenéis los resultados diciéndoles en el Prompt que es una ilusión, para encaminarles - correcta e incorrectamente - en cada petición. Cuando se dice que es una ilusión, aciertan mucho más en las que realmente son una ilusión, pero fallan mucho más aún en las Ilusion-Ilusion y en las Imágenes de Control, con lo que su grado de acierto es bastante pequeño. 

Figura 9: Fallos llamativos con Imágenes de Control

En la última imagen, tenéis fallos llamativos usando el Basic Prompt con las imágenes de Control en Gemini Pro, GPT-4o y Claude 3, donde queda claro que las imágenes de entrenamiento ha hecho que les lleve a tener este tipo de "Alucinaciones" inesperadas. Al final tiene que ver con el Potemkin Rate, porque parece que reconoce bien y no cae en las alucinaciones, pero es justo al contrario y cae en Hallucinations por culpa del entrenamiento para reconocer Illusions.

Figura 10: Ejemplo de pegatinas sobre una señal de STOP,
que a diferentes distancias y ángulos, hacía leer
a un Tesla las palabras Love y Hate  y no STOP.

¿Se podría sacar uso a esto de forma maliciosa? Pues no sé, pero tomar decisiones en un sistema de navegación con Modelos Visuales de IA como los que tenemos en Automóviles, Drones o Aviones, puede ser un verdadero problema de seguridad física. Ya vimos cómo se podía hackear un Tesla con Pegatinas en la DefCon de hace años, y esta debilidad seguro que tiene aplicaciones "prácticas".

Figura 11: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Hacking IA: Indirect Prompt Injection en Perplexity Comet

Hace un par de días, el equipo del navegador Brave que está dotando a este de un Asistente AI en modo Agente, publicó una vulnerabilidad de Indirect Prompt Injection en el Asistente AI en modo Agente de Perplexity, llamado Comet, y lo han hecho con una Proof of Concept que puedes leer en la web, y que te explico por aquí.

Figura 1: Hacking IA: Indirect Prompt Injection en Perplexity Comet

El ataque se basa en un esquema bastante sencillo, como controlar una página web que la víctima vaya visitar con Perplexity Comet y dejar en ella - ya sea una web maliciosa, o un comentario en una plataforma donde los usuarios puedan dejar posts o comentarios. 

Figura 2: Indirect Prompt Injection en Perplexity Comet

El ataque es un ejemplo de los nuevos tipos de vulnerabilidades a los que nos enfrentamos con las Apps & Services que utilizan IA en sus back-ends o front-ends, donde hemos visto ya varios ejemplos similares a estos.

Figura 3: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

• Los 10 problemas de seguridad más importantes de ChatGPT, Bard, Llama y apps que usan LLMs: OWASP Top 10 para LLM Apps versión 1.0.1
• GenAI Apps & Services: Cómo explotar arquitecturas RAG con Plugins Inseguros
• Hacking Gitlab Duo: Remote Prompt Injection, Malicious Prompt Smuggling, Client-Side Attacks & Private Code Stealing
• EchoLeak: Un Cross Prompt Injection Attack (XPIA) para Microsoft Office 365 Copilot
• Google Gemini para Gmail: Cross-Domain Prompt Injection Attack (XPIA) para hacer Phishing

Una vez que tenemos una web en la que se ha podido publicar el Prompt Injection, basta con que la víctima pida un simple "Summarize this web" en Perplexity Comet, para que se comience a ejecutar el Prompt Malicioso. 

Figura 4: Prompt Malicioso publicado en la web a resumir

Como podéis ver en este proceso, donde se le pide que entre en las opciones de Perplexity y saque los datos de la cuenta. Y por supuesto, Perplexity Comet se "desalinea" de su tarea principal y comienza a ejecutar estas acciones en modo Agente.

Figura 5: Perplexity Comet accediendo a los datos de la cuenta de Perplexity

Para la prueba de concepto, con el objeto de robar la cuenta, el ataque busca robar el código de verificación de un cambio de contraseña, o de cualquier otra acción que use un 2FA basado en un token enviado al e-mail.

Figura 6: Accediendo a Gmail 

Por supuesto, se aprovecha de algo que hacemos muchos, que es tener una pestaña siempre abierta con el correo electrónico de Gmail, por lo que se puede pedir a Perplexity Comet que busque el código recibido y lo copie.

Figura 7: Accediendo a Gmail para conseguir el Token 2FA y publicando el 

Después, el Prompt Malicioso le va a pedir a Perplexity Comet que coja la información a la que ha accedido, es decir, la dirección de correo electrónico de la cuenta de Perplexity, y el token de firma  de acciones y lo publique en un comentario de Reddit.

Figura 8: Posteando el comentario en Reddit con la info de la víctima

El resultado de este proceso en modo agente es que al final, el comentario queda publicado justo después del comentario con el Prompt Malicioso, tal y como podéis ver en la imagen siguiente.

Figura 9: Ataque de Prompt Injection realizado con éxito 

El proceso completo lo tenéis en este vídeo que han publicado en el artículo de Indirect Prompt Injection in Perplexity Comet donde al final, como resumen Perplexity Comet publica nada, que es lo que se le ha pedido en el Prompt Malicioso.

Figura 10: Poc de Indirect Prompt Injection in Perplexity Comet 

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Cómo una imagen hecha con Morphing puede generar Match con dos personas en el Reconocimiento Facial del Control de Pasaportes

No es que esta semana tuviera marcado en el calendario que iba a hablar de Facial Recognition & Face Comparison, pero es es el tercer artículo seguido que dedico a esto después de hablar "Sobre la Fiabilidad del Reconocimiento Facial en Imágenes de Cámaras de Seguridad" y "Sobre descubrir dobles de líderes mundiales con Facial Recognition Technology". Hoy hay que hablar de los riesgos de las imágenes hechas con técnicas de Morphing para la detección de suplantación de identidades en controles con Reconocimiento Facial, como el que hay en las fronteras de los aeropuertos, por ejemplo.

Figura 1: Cómo una imagen hecha con Morphing puede

generar Match con dos personas en el Reconocimiento

Facial del Control de Pasaportes

Una imagen Morph o hecha con técnicas de Morphing se hace a partir de otras dos imágenes originales, que pueden pertenecer a dos personas diferentes, que pueden ser diferentes sexo, raza o edad. Es un algoritmo de Inteligencia Artificial que mezcla los rasgos de esas dos personas para dar una nueva persona. 

Figura 2: La imagen de la izquierda es una imagen Morph de la

suma de las fotografías de la derecha. De 2 personas distintas.

En esencia se parece a las técnicas de StyleGAN, pero hecho a partir de dos personas reales para que la imagen Morph tenga la esencia de las dos anteriores. Esto provoca que se produzcan situaciones de seguridad muy interesante, que el NIST ha publicado en una documento titulado: "Face Analysis Technology Evaluation (FATE) MORPH. Considerations for Implementing Morph Detection in Operations" y que puedes leer online.

Figura 3: Face Analysis Technology Evaluation (FATE) MORPH.

Considerations for Implementing Morph Detection in Operations"

Esto, que inicialmente parece un ejercicio tecnológico visual curioso , puede ser utilizado para crear personas que no existen, como en el caso de las StyleGAN, pero también pueden acabar siendo utilizadas de forma impresas en documentos oficiales como un Pasaporte Nacional al que aplica una persona.

Figura 4: Imagen Morph, digitalizada, retocada, impresa y escaneda

El riesgo, como ha alertado en una presentación del National Institute of Standards and Technology que puedes leer online, es que esa imagen Morph puede dar Match a las dos personas que se utilizaron para construirla.

Figura 5: Una imagen Morph puede validar a dos personas

El riesgo que esto tiene es muy grande, porque una persona puede ir a sacarse el Pasaporte con una Imagen Morph, y luego esa fotografía podría validar a otra persona en los sistemas de Reconocimiento Facial de la frontera, con lo que se estaría colando en un país alguien que no es la persona identificada.

Figura 6: Un pasaporte, Dos personas

Esto se produce porque los sistemas de Facial Recognition tienen un sistema de validez del Match basado en Thresholds de Similitud, y esto no es algo válido cuando se trata de Verificación de una Identidad, donde hay rasgos que deben ser conclusivos. Por ejemplo, podemos tener un grado de similitud en dos personas en 90% y resulta que son de diferente raza. 

Figura 7: Artefactos de una Imagen Morph

Las imágenes Morph, para que funcione la magia, hacen una manipulación de los rasgos fundamentales como los ojos, la nariz, los labios, etcétera, haciendo manipulación en forma de artefactos que son mezcla de los rasgos de las dos imágenes originales. Esto lleva a que en esos puntos se cree la magia tecnológica de la manipulación, y es lo que permite el problema anterior.

Figura 8: Más de 1.000 casos de Imágenes Morph en USA

Según la presentación publicada, en los Estados Unidos han tenido más de 1.000 casos de pasaportes hechos con imágenes Morph, ya que estas - si engañan a un sistema de Facial Recognition - con dos personas con cierta similitud y una imagen Morph, pueden engañar a las personas. No todos nos parecemos tanto a nuestras fotos de los documentos de identidad.

Figura 9: Procesos de detección de Morph

El NIST está proponiendo utilizar en todas las aplicaciones para obtención de Pasaportes o Documentos de Identidad, un sistema de detección de Imágenes Morph, buscando detectar los artefactos dejados por la aplicaciones más comunes utilizadas para la generación de estas imágenes, revisar los metadatos de las fotografías, buscando información EXIFF que pueda delatar la manipulación con herramientas digitales.

Figura 10: Imágenes Morph generadas con diferentes aplicaciones

La segunda parte consiste en hacer análisis entre la imagen de la persona en la cámara de Facial Recognition y la Imagen Morph, buscando rasgos deterministas de la identidad, como una cicatriz o un lunar que falta en la fotografía o en la imagen de la cámara en la frontera, para generar una alerta de seguridad.

Figura 11: Falta la cicatriz en la imagen de la cámara de la frontera

En esos casos, aunque la Similitud del algoritmo de Face Comparison sea alta, existe un elemento - la cicatriz - que invalida la identidad, por lo que se debe levantar una alerta de seguridad.

Figura 12: Identidad y Similitud

Por último, para detectar si es una Imagen Morph que está siendo utilizado por una o dos personas, se puede tener en cuenta esta distribución entre Identidad y Similitud. Cuando es original, hay un pico de Similitud muy alto, mientras que que cuando es una Imagen Morph da un pico de Similitud más rebajado y, si en la base de datos hay dos personas, la distribución de Similitud se extiende entre más imágenes.

Figura 13: Match con dos imágenes de la misma persona con

índices de Similitud muy altos.

Sin embargo, si usamos la misma base de datos, pero buscando con una Imagen Morph de esa persona (con otra que no está en la base de datos), los índices de Similitud se reducen.

Figura 14: Usando una Imagen Morph para hacer Match

Si las dos personas a partir de las que se ha creado la Imagen Morph está en la base de datos, los resultados de Similitud en el algoritmo de Facial Comparison son menos acentuados, tal y como se veía en la gráfica de la Figura 12.

Figura 15: Match a dos identidades pero

con grados de Similitud menor.

El uso de las herramientas de Inteligencia Artificial Generativa aplicadas al mundo de las generación de imágenes crea, como hemos visto en este artículo, nuevas amenazas y nuevas brechas de seguridad que hay que mitigar, como se puede observar, hay que estudiar los detalles para poder contra restarlas. Muy interesante este trabajo.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)