Cómo evitar que sepan que has escuchado un audio en WhatsApp

Este truco no es ni mucho nuevo, pero el otro día lo usé y lo comenté, y me dijeron que no lo conocían, así que os lo dejo. Es muy cortito y al pie, y es justo unos pequeños "tricks" para evitar que alguien sepa que has escuchado su audio en WhatsApp por si no te interesa. Y no es ni nuevo, ni la única forma de hacerlo.

Figura 1: Cómo evitar que sepan que has escuchado un audio en WhatsApp

Hace ya mucho tiempo os dejé dos formas de evitar que se sepa que has escuchado un audio de WhatsApp de formas muy sencillas. Hoy le añado otra también sencilla, por si no la teníais controlada, pero vamos, que todas son iguales de fáciles.

Figura 2: WhatsApp INT: OSINT en WhatsApp.

Nuevo libro de Luis Márquez en 0xWord.

De este tipos de tricks, pero para sacar información de cuentas va el libro de WhatsApp INT: OSINT en WhatsApp, así que, si te gusta este mundo, deberías comparte ese libro también.

Descargando el Audio desde WhatsApp Desktop

La primera forma de hacerlo fácilmente es desde WhtasApp for Desktop, ya que tienes la opción de descargar el audio desde el chat, y se generará un fichero .ogg que podrás escuchar en cualquier reproductor de audio del sistema operativo.

Figura 3: Descargar el audio desde WhatsApp for Desktop

En cualquiera de los dos casos nos encontraremos con que no se le va a enviar al emisor del mensaje de audio el doble check azul, y tu privacidad seguirá bajo tu control para que el mensaje de que lo has leído llegue cuando y cómo tú quieras.

Figura 4: El audio se guarda como fichero .ogg

Así de sencillo, con darle al botón descargar desde WhatsApp Desktop. Una mina tener WhatsApp Desktop, que ya sabéis que lo uso también para grabar las fotos, vídeos y audios de un sólo uso. Pues también para esto.

Mi Grupo de Audios sin doble check azul

El segundo de los tricks es tan sencillo como hacer un re-envio del audio sin escucha a un grupo de Whatsapp en el que estés tu solo. Para hacerte ese grupo es tan sencillo como hacer un grupo de WhatsApp en el que metes a un amigo. Luego le sacas del grupo, y te quedarás tú solito en ese grupo.

Figura 5: Mensaje reenviado para escuchar sin check azul

Después, cuando llegue un audio y quieras escucharlo sin que le llegue el doble check azul, lo único que tienes que hacer es re-enviar ese audio al grupo en el que estás tu sólo, y allí lo puedes escuchar sin que no tengas el doble check enviado al emisor del mensaje de audio original.

Figura 6: En el mensaje original no se avisa

Muy sencillo, y muy cómodo, con lo que no tienes que preocuparte de que sepa nadie si lo has escuchado y cuándo lo has escuchado.

Envíalo con tu iPhone a otra app

El último de los ticks - tan viejo casi como WhatsApp - consiste en darle a Reenviar, pero en lugar de enviarlo internamente - supón que no tienes el grupo en el que estás tú solo aún - y te lo envías a otra app.

Figura 7: Selecciona el audio y dal a Reenviar

Seleccionas el audio, sacas el menú de acciones y le das a re-enviar, pero en luego, como veis en la imagen siguiente, en lugar de selección el envío interno con la flecha de abajo a la izquierda, seleccionas el envío externo con una app del sistema con el icono de abajo a la derecha.

Figura 8: Envío con aplicación externa

Ahí te saldrán la lista de las apps que quieres utilizar, que puede ser enviarlo en mi caso vía AirDrop al equipo, pero como no lo tengo cerca, pues lo envío por Telegram a los Saved Messages, pero puedes enviarlo por e-mail adjunto, o como quieras.

Figura 9: Envío a Telegram Saved Messages

Y luego en Telegram le das a reproducir y te escuchas el audio fuera de WhatsApp, con lo que no se queda marcado como que el audio ha sido escuchado. 

Figura 10: Escúchalo en Telegram

Eso es todo, nada más que un recuerdo de viejos tricks que siguen funcionando en WhatsApp por si alguno de ellos no lo conocías, que son todos muy cómodos según te pillen en ese momento, y que te van a ayudar a gestionar tu privacidad como tú quieras.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

AgentFlayer exploit para ChatGPT: Prompt Injection para exfiltrar datos de tus almacenes conectados

Esta vulnerabilidad de AgentFlayer en ChatGPT tiene ya un par de meses, y está, por supuesto, corregida, pero es un ejemplo curioso que no me gustaría dejar sin publicar. El ataque se basa en plantar un ataque de Prompt Injection que cambia el alineamiento de un modelo mediante la inclusión de promts ocultos en documentos que la víctima va a procesar.

Figura 1: AgentFlayer exploit para ChatGPT.

Prompt Injection para exfiltrar datos de tus almacenes conectados

Supongamos que alguien envía a la víctima un documento de 70 páginas en PDF con toda una lista de normas, y ésta, en lugar de leerlo manualmente hace algo muy común hoy en día, que es pedir a ChatGPT que lo resuma.

Figura 2: Resume este documento

Hacer esto, enviar un documento grande a una persona, y ponerle un deadline muy corto para que haga algo sobre lo que viene en él, es una incitación directa para que pida a un modelo que lo resuma. Ese es un buen truco para recordar. Así que ya tendríamos la forma de conseguir que el Prompt se ejecutara en el esquema de la víctima.

Figura 3: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Como los modelos no tienen protecciones robustas contra el desalineamiento como las propuestas por SecAlign, un atacante puede conseguir que una acción tan sencilla como resumir un documento acaba en enviar mensajes de correo, renderizar imágenes, o buscar un determinado documento en un repositorio. Y de eso se aprovechó AgentFlayer en ChatGPT.

Figura 4: Renderización de imágenes en ChatGPT

En este caso, AgentFlayer se aprovecha de los Conectores de ChatGPT que permiten que un usuario conecte ChatGPT con sus almacenes de datos, sean estos Google Drive, SharePoint Portal Server o cualquier otro, con lo que le va a pedir con el Prompt Injection oculto en el documento que busque archivos con, en este ejemplo, API Keys. Podría ser cualquier otro.

Figura 5: Fichero objetivo con API Keys

El objetivo es que cuando ChatGPT resuma el documento envenenado con el Prompt Injection, se desalinee y se olvide del resumen para buscar en el Google Drive de la víctima el archivo que tiene las API Keys. Y luego hay que sacarlas para que lleguen a las manos del atacante.

Figura 6: Prompt Injection escondido en el PDF de ataque

El truco es de nuevo la carga de una imagen remota, en un servidor controlado por el atacante, que como podéis ver en el Prompt de ataque, inyecta las API Keys en los parámetros de la URL. Pero... ChatGPT no permite renderizar imágenes de cualquier sitio.

Figura 7: Renderización de imagen desde Azure. 

Se desalinea. No resume. Filtra las API Keys

Por suerte, sí que permitía de cualquier almacén de documentos en Microsoft Azure, así que no fue muy difícil para este exploit encontrar la forma de exfiltrar la información sensible que se buscaba.

Figura 8: Log en servidor controlado por el atacante

Como siempre digo, AgentFlayer en ChatGPT no fue el primero ni ha sido el único en conseguir un Prompt Injection exitoso en un modelo de frontera de los grandes, que ya hemos visto muchos de estos casos, como tenéis en estos artículos que tenéis publicados aquí:

• Hacking Gitlab Duo: Remote Prompt Injection, Malicious Prompt Smuggling, Client-Side Attacks & Private Code Stealing
• EchoLeak: Un Cross Prompt Injection Attack (XPIA) para Microsoft Office 365 Copilot
• Google Gemini para Gmail: Cross-Domain Prompt Injection Attack (XPIA) para hacer Phishing
• Taxonomía de Fallos de Seguridad en Agentic AI: Memory Poisoning Attack con Cross-Domain Prompt Injection Attack (XPIA)
• Hacking IA: Indirect Prompt Injection en Perplexity Comet
• ShadowLeak Attack para Agentes IA de Deep Research en ChatGPT
• ForcedLeak: Indired Prompt Injection en Salesforce AgentForce
• AgentFlayer exploit para ChatGPT: Prompt Injection para exfiltrar datos de tus almacenes conectados

Y en el caso de ChatGPT, que es el modelo más popular que tenemos, los investigadores han puesto el foco bien puesto, y son varias la vulnerabilidades que les ha afectado. Merece la pena que te leas estos artículos para que veas cómo piensan los investigadores de ciberseguridad.

• ChatGPT Bugs
• Bugs en la Implementación OAuth de ChatGPT
• Cómo robar cuentas de ChatGPT con "Wildcard Web Cache Deception"
• ShadowLeak Attack para Agentes IA de Deep Research en ChatGPT
• PROMISQROUTE para GPT-5: Un ataque de downgrade forzando el Routing para hacer Jailbreak
• Más de 100.000 conversaciones de ChatGPT y Perplexity indexadas en Bing
• AgentFlayer exploit para ChatGPT: Prompt Injection para exfiltrar datos de tus almacenes conectados

Algunas de las propuestas por los investigadores para evitar estas técnicas de Prompt Injection por diseño las podéis leer en estos artículos:

• Prompt Injection Protections: Jatmo, StruQ, SecAlign & Instructional Segment Embedding
• Google DeepMind CaMeL: Defeating Prompt Injections by Design in Agentic AI
• LlamaFirewall con PromptGuard 2, LlamaGuard 4, AlignmentCheck, CodeShield + AutoPatchBench & CyberSecEval 4

De los problemas de falta de seguridad por diseño en lo LLM como ChatGPT os hablé en la charla que di en OpenExpo Europe 2025 / Metaworld Congress 2025 titulada "Hackin’ AI: Creando una IA… ¿Qué puede salir mal?", donde también aproveché a contar muchas cosas de por qué esto es así, que hay que entender bien el funcionamiento de estos modelos para saber por qué nos suceden estos problemas.

Figura 9: "Hackin’ AI: Creando una IA… ¿Qué puede salir mal?"

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Cómo crear hasta 6 Chats Públicos o Privados en MyPublicInbox

Hace tiempo que el equipo de MyPublicInbox puso como opción que las comunicaciones vía Chat con Perfiles Públicos. Yo tengo activa esa opción de comunicación en mi perfil de MyPublicInbox, al igual que las reuniones virtuales, y es un modelo diferente de comunicación, para discutir o debatir algún tema. Esta opción de Chat la abrimos para que se puedan crear chats múltiples donde la gente puede tener un Chat Privado múltiple con varios perfiles.

Figura 1: Cómo crear hasta 6 Chats Públicos o Privados en MyPublicInbox

El siguiente paso en la evolución de las salas de conversación fueron los Chats Públicos, que tienen una  URL para suscribirse al Chat, y que el que haya creado ese canal puede compartirla con quien quiera. De estos chats tienes varios ejemplos en los que yo participo, por ejemplo:

- Chat Público de El lado del Mal

- Chat Público del Foro Deusto de Quantum y PostQuantum Security

- Chat Público de Escapando Palalante

- Chat Público de Ciberseguridad ES

Ahora estamos trabajando en la siguiente evolución, en Chat Públicos indexados por Categorías que podrán ser descubiertos por todos en la web de MyPublicInbox, igual que el resto de los Perfiles Públicos.

Figura 2: Opción "Chats -> Crear Chat"

La idea es que los Chats Públicos van a estar clasificados por Categorías temáticas, y si quieres que tu Chat sea descubierto, aparecerá allí. De momento se han hecho varios cambios en los Chats Públicos, que llevan algún tiempo probándose internamente, como son la posibilidad de poner un banner al chat, el uso de menciones a participantes del chat, responder mensajes individualmente, uso de emoticonos y otros pequeños cambios de usabilidad, además de poder recibir Notificaciones Push si se desea de cada uno de los chats en la app de MyPublicInbox para Android y la app de MyPublicinbox iPhone.

Figura 3: Chats Públicos y Privados en los que participo

Una de las cosas que también puede hacer el administrador es moderar, pudiendo bloquear a cualquier usuario o eliminar cualquier mensaje concreto del chat que se desee. Sólo lo puede hacer el administrador, que lo puede hacer de cualquier usuario y cada usuario puede eliminar los suyos.

Figura 4: Creación de un Chat Privado

En esta nueva evolución, si eres un Perfil Público, vas a poder crear hasta 6 Chats. Estos pueden ser Privados, donde tú compartes la URL y tienes las opción de aceptar y bloquear a los usuarios que se añadan, o Públicos, donde además defines las categorías en las que quieres que se promocione tu Chat.

Figura 5: Creación del Chat Público "Ciberseguridad ES"

Una vez que has creado el chat, como este ejemplo de Chat Público de Ciberseguridad ES que he creado, puedes invitar también manualmente a usuarios de MyPublicInbox bien por su usuario de la plataforma o por una dirección de e-mail, con lo que recibirá en su correo una invitación para unirse al chat.

Figura 6: Configuración de un Chat con URL de autojoin

Así que si eres un Perfil Público de MyPublicInbox y te apetece tener un canal en forma de Chat Público en la plataforma para compartir información, y para tener conversaciones públicas, ya puedes crear hasta SEIS (6). 

Figura 7: Darse de alta en la conversación Pública de El lado del mal

El Chat Público de El lado del mal está bastante animado, y cuando voy a dar una charla a un sitio y quiero tener una forma de recibir preguntas que contestar, suelo usar uno de estos canales, así que si te animas, ya lo tienes a tu disposición.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

ForcedLeak: Indired Prompt Injection en Salesforce AgentForce

Teniendo en cuenta que los LLMs que tenemos hoy en día no tienen ninguna protección por diseño contra los ataques de Prompt Injection, la única defensa posible contra estas debilidades son System Prompts lo más robustos posibles, y Guardarrailes que filtren los Pompts de entrada, y los datos de salida, junto a verificación de alineación entre el objetivo inicial del Prompt y las acciones que está realizando el agente. O lo que es lo mismo, añadir capas de protección a un modelo inseguro por diseño.

Figura 1: ForcedLeak - Indired Prompt Injection en Salesforce AgentForce

El último en sufrir uno de estos ataques, llamado ForcedLeak, ha sido AgentForce de SalesForce, pero no es ni el primero ni será el único, que ya hemos visto muchos de estos casos, como tenéis en estos artículos que tenéis publicados aquí:

• Hacking Gitlab Duo: Remote Prompt Injection, Malicious Prompt Smuggling, Client-Side Attacks & Private Code Stealing
• EchoLeak: Un Cross Prompt Injection Attack (XPIA) para Microsoft Office 365 Copilot
• Google Gemini para Gmail: Cross-Domain Prompt Injection Attack (XPIA) para hacer Phishing
• Taxonomía de Fallos de Seguridad en Agentic AI: Memory Poisoning Attack con Cross-Domain Prompt Injection Attack (XPIA)
• Hacking IA: Indirect Prompt Injection en Perplexity Comet
• ShadowLeak Attack para Agentes IA de Deep Research en ChatGPT
• AgentFlayer exploit para ChatGPT: Prompt Injection para exfiltrar datos de tus almacenes conectados

En el caso de AgentForce de SalesForce, los investigadores han publicado ForcedLeak, un Indirect Prompt Injection que permite exfiltrar información de dentro del sistema, aprovechándose de un fallo de configuración en las Content-Security Policies de SalesForce.

Figura 2: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

El esquema del ataque completo lo tenéis en el siguiente vídeo que han publicado los investigadores de Noma Security, donde se ven las diferentes fases, que luego vamos a ver en capturas una a a una.

Figura 3: ForcedLeak en Salesforce AgentForce

Para poder exfiltrar los datos, los atacantes descubrieron que uno de los dominios que Salesforce tiene en las Content-Security Policies (CSP) de la web donde se despliega y ejecuta AgentForce como autorizado para cargar contenido externo estaba caducado, así que lo primero que hicieron fue registrarlo y controlar el contenido que allí se publica. 

Figura 4: CSP Bypass con un dominio caducado

Una vez que se sabía cómo se iban a sacar los datos, los investigadores buscaron cómo ejecutar el ataque de Prompt Injection, y lo hicieron en el campo descripción del formulario Web-to-Lead donde alguien puede contactar con el equipo comercial que usa Salesforce.

Figura 5: Prompt Injection para filtrar los datos

Como se puede ver en la imagen anterior, el ataque hace cuatro peticiones, siendo la segunda para despistar, la tercera para conseguir los datos a exfiltrar y la cuarta para componer la exfiltración insertando los datos obtenidos en la acción 3 en la URL de petición de una foto a cargar desde el dominio autorizado en las CSP. Todo esto, al formulario Web-to-Lead en la parte de descripción, como se ve en la imagen siguiente.

Figura 6: Inyección del Prompt Injection en el form Web-to-Lead

Esta información llega a la consola de Salesforce, y allí, si un usuario le pide a AgentForce que conteste a las preguntas que han llegado en el formulario, lo que sucede es que se ejecuta el ataque de Prompt Injection, como puedes ver a continuación.

Figura 7: Petición de contestar la petición a AgentForce

El resultado es que se ejecuta el payload del ataque, se genera la previsualización con la imagen de un dulce perrito en este caso, y con la URL de petición llevando los datos que se ven justo antes de cargar la imagen.

Figura 8: Prompt Injeciton ejecutado en AgentForce y datos exfiltrados

Los datos los podemos ver en el log del servidor web montado en el dominio autorizado en las CSP de Salesforce, lo que permite que se puedan ver en texto claro los datos solicitados en esta PoC, como tenéis en la imagen siguiente.

Figura 9: Datos exfiltrados en la petición GET de la imagen del perrito

Al final, el que no tengamos soluciones de protección contra técnicas de Prompt Injection por diseño generan estas situaciones, donde grandes empresas se ven afectadas una y otra vez por esta misma forma de conseguir que el modelo de IA se ponga a trabajar para el atacante. En este vídeo, tenéis el proceso completo en tiempo real.

Figura 10: PoC de ForcedLeak en Salesforce AgentForce

Algunas de las propuestas por los investigadores para evitar estas técnicas de Prompt Injection por diseño las podéis leer en estos artículos:

• Prompt Injection Protections: Jatmo, StruQ, SecAlign & Instructional Segment Embedding
• Google DeepMind CaMeL: Defeating Prompt Injections by Design in Agentic AI
• LlamaFirewall con PromptGuard 2, LlamaGuard 4, AlignmentCheck, CodeShield + AutoPatchBench & CyberSecEval 4

De todo eso ya os hablé en la charla que di en OpenExpo Europe 2025 / Metaworld Congress 2025 titulada "Hackin’ AI: Creando una IA… ¿Qué puede salir mal?", donde también aproveché a contar muchas cosas de por qué esto es así, que hay que entender bien el funcionamiento de estos modelos para saber por qué nos suceden estos problemas.

Figura 11: "Hackin’ AI: Creando una IA… ¿Qué puede salir mal?"

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Haz la vida más cómoda a los usuarios con "Grab This Display QRCode"

Hace muchos años, en uno de nuestros hackathones, estaba yo con la idea de hacer una PoC de un servicio que se llamara "Grab this Display!", una idea que intentaba resolver un "pain" que muchos tenemos cuando estamos en Hospitales, Oficinas de Administración Pública, Salas de espera de organizaciones o Aeropuertos, que no es otro que mirar una pantalla de información para saber cuando te toca, cuando sale tu avión o cualquier otra información que está emitiendo dese un servicio digital.

Figura 1: Haz la vida más cómoda a los usuarios

con "Grab This Display QRCode"

En aquel momento estaba con la idea de ver cómo hacer esto, usando QRCodes para capturar la imagen con el móvil, o AR para poder enlazar una pantalla con su versión online - que muchas la tienen, como es el caso de mucha información de aeropuertos, y luego cosas más peregrinas con soluciones UGC (User Generated Content) o cámaras en streaming. Era un hackathon, y pensar este tipo de locuras es el objetivo, para hacer reto a tus ideas de una manera constante.

Figura 2: Pantallas de Información de aeropuertos con puertas de embarque.

¿Cuántas veces te ha tocado estar de pie mirando una de estas pantalla?

Aquella idea la comentamos, y no hicimos mucho porque al final la idea era tan sencilla de realizar como que el que diseña el sistema de Pantallas de Información pusiera un QRCode con una URL de su dirección pública de Internet y listo. Muchas de esas pantallas, como la de la información de las puertas de embarque en un aeropuerto es información pública.

Figura 3: Dónde puedes ver las puertas de embarque del Aeropuerto de Madrid

El problema, o el "dolor", es localizar cuando estás en frente de esa pantalla el equivalente en Internet, que no es fácil, ni trivial, ni homogéneo, ni claro que sea la misma información. Por ejemplo, pidiendo la información de las puertas de embarque del aeropuerto de Madrid está disponible, pero en la app del AENA, o en esta web con anuncios - me ha llamado poderosamente la atención esto de los ads para ver las puertas de embarque -.

Figura 4: App de AENA con info de puertas de embarque

Eso significa que hay que descargar la app, instalarla, seguramente crearse un usuario de la app, y entonces - y sólo entonces - consigues tener la información que tienes delante. Algo que no vas a hacer porque seguramente no quieres luego actualizaciones, que te pueda o no vigilar, que te mande notificaciones push... o cualquier otra preocupación que puedas tener.

Figura 5: Dónde puedes ver las puertas de embarque del Aeropuerto de Lisbo

Si miramos en el aeropuerto de Lisboa, la situación es diferente, aquí, como dice Perplexity, la web del aeropuerto tiene la información de las puertas de embarque disponible en una web sin instalación de una app, lo que es de agradecer. Pero de nuevo, no es un sistema homogéneo en todas las pantallas, y tampoco tenemos la garantía de que se actualicen al mismo tiempo.

Figura 6: Salidas en tiempo real en Aeropuerto de Lisboa

Por ello, lo que deberían tener las Pantallas de Información es un sistema de Grab This Info Display basado en una web, con un QRCode que te permita acceder fácilmente a la información de esa pantalla desde tu móvil, y que te garantice que se actualiza de manera sincronizada en la web y en la pantalla.  Es decir, el sistema que imprime la pantalla debería imprimir en ese dispositivo junto con un QRCODE, y actualizar una representación de la misma en una URL de Internet, algo que no es ni complejo, ni raro. 

Figura 7: Grab this Display QRCode

Yo proponía en el hackathon algo como esto, que no es que sea una innovación sino una feature de UI/UX que debería estar en todas las pantallas de información del universo mundial, para evitar apelotonamientos de personas, para evitar que las personas mayores tengan que estar de pie delante de una pantalla, y para hacer que cualquier persona pueda acceder a esa información fácilmente.

Figura 8: MockUp de la Info Display en tu móvil y el usuario feliz.

Por otro lado, una de las cosas que me decían es: "¿Y si se quiere que la persona sólo pueda acceder a esa información si está en la Sala de Espera?". Pues entonces ponla accesible en una WiFi privada, o haz un Geo-Fencing con OpenGateway o con Bluetooth. O esas pantallas déjalas fuera de mi propuesta, pero las que sean de información pública... please, poned el Grab This Info Display QRCode!

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Fotonica e Inteligencia Artificial combinadas para crear una nueva técnica de codificar fotografías comprimidas

¿No te ha pasado nunca que deseas capturar exactamente lo que están viendo tus ojos en un momento determinado, con todo lujo de detalles? La evolución nos ha dotado de una vista extraordinaria, pero también nos ha condenado a ser testigos de momentos únicos que no podemos grabar a fuego lento para siempre. Nuestro cerebro no está preparado para guardar copias exactas de lo que vemos, o lo que experimentamos. Se difuminan, se cambian, se modifican, se diluyen en nuestra memoria, e incluso, los olvidamos.

Figura 1: Fotonica e Inteligencia Artificial combinadas para

crear una nueva técnica de codificar fotografías comprimidas

Esta necesidad humana de conservar esos recuerdos dio lugar al nacimiento, primero de la pintura y luego la fotografía, que nació hace casi dos siglos, con la invención del Daguerrotipo. Como imaginarás, desde aquellos albores hasta hoy, la fotografía ha evolucionado enormemente. Y de la captura analógica, pasamos a la captura y el tratamiento digital de las mismas. Las imágenes que capturamos hoy con nuestros móviles no tienen nada que ver con aquellas primeras fotografías. Hemos conseguido mejorar el nivel de detalle, añadir color y, sobre todo, digitalizar por medio de la tecnología completamente el proceso de la toma de instantáneas.

Figura 2: Primera imagen fotográfica en la que se observa

una persona tomada por Daguerre en 1839.

Sin embargo, todo este progreso tecnológico tiene un coste. El procesamiento digital de imágenes consume mucha energía y se enfrenta a límites en la transmisión y almacenamiento de datos. Solo para una imagen convencional necesitamos realizar entre 100 y 1000 operaciones por píxel para compensar factores como el ruido, además de aplicar después algoritmos de compresión como el popular JPEG, el popular formato de compresión "con perdida" que tantas fotos ha guardado, guarda y guardará.

Figura 3: Métodos de compresión de imágenes digitales.

Todas estas operaciones hacen que el consumo energético se dispare, además de que los algoritmos de compresión deben ser muy eficaces para no perder, o perder la menor información, pudiendo mejorar los tiempos de compresión, y los tamaños de archivos resultantes. Por eso, para conseguir imágenes de mayor resolución, necesitamos algoritmos de procesamiento y compresión más eficientes que aumenten la velocidad de procesado y reduzcan el tamaño de almacenamiento necesario. Y aquí es donde la fotónica entra en juego.

Figura 4: "Integrated photonicencoder for low power and high-speed image processing"

En un artículo fascinante publicado en Nature Communications titulado "Integrated photonicencoder for low power and high-speed image processing", el cual te animo a leer ya que se encuentra todo detalladamente explicado, proponen usar un sistema óptico combinado con Inteligencia Artificial para realizar este proceso de codificación de imágenes de manera mucho más eficiente.

Figura 5: Esquema de funcionamiento del montaje óptico-electrónico

con el el Codificador Fotónico Analógico para el procesamiento y

compresión eficiente de imágenes

Para optimizar el proceso se utiliza un Codificador Fotónico Analógico en una arquitectura híbrida, que combina óptica y electrónica en circuitos de silicio, con el siguiente esquema:

• Fuentes de luz: para usar tecnología fotónica se necesita de luz coherente la cual manipular, al igual que los ordenadores electrónicos necesitan electricidad. Cada uno de los píxeles de la fotografía a codificar pasa a ser emitida con un láser coherente estable que proporciona el haz de luz a procesar.

• Guías de onda monomodo: se implementan múltiples guías de onda monomodo, una por cada píxel del bloque que se va a procesar, cada una con un modulador que codifica la información de un píxel específico.

• Guía multimodo: se combina todas las señales de cada guía monomodo en una sola señal multimodo antes de realizar las operaciones.

• Codificación aleatoria: es el punto más importante e ingenioso de este artículo. Aprovechan el hecho de que las primeras capas de la mayoría de redes neuronales de codificación no son críticas en la calidad de la compresión, y las implementan físicamente de forma pasiva y pre-diseñada usando centros de dispersión aleatorios creados simplemente haciendo agujeros de aire en silicio. Esto permite, gracias a que la luz opera en el régimen lineal, describir todo el proceso de codificación de forma muy simple:

Resultado= Matriz_Dispersion x Entrada

• Detectores: la señal óptica resultante se captura con fotosensores. La compresión ocurre de forma natural en la etapa anterior, donde el diseño de la matriz de dispersión garantiza que haya menos canales de salida que de entrada, reduciendo así tanto el número de detectores necesarios como el tamaño final de la imagen.

• Red Neuronal: finalmente se utiliza un backend digital electrónico con un modelo de Inteligencia Artificial Generativa entrenada para reconstruir la imagen original a partir de la versión comprimida obtenida de los detectores.

Los resultados de esta técnica son impresionantes: en el artículo afirman que las imágenes reconstruidas mantienen más del 90% de similitud estructural con las originales, con el potencial de procesar flujos de datos a velocidades de terapíxeles.

Figura 6: Proceso de compresión y reconstrucción

La magia del proceso es comprimir fotónicamente y reconstruir con un algoritmo de Inteligencia Artificial generativa basado en la reconstrucción que se hace en los Difussion Models. La imagen es capturada por una cámara de alta calidad, con alta resolución y que genera imágenes con un alto consumo de datos de almacenamiento. 

Esa imagen se pasa por un el Codificador Fotónico Analógico descrito, donde la compresión se hace con sensor de luz que calcula el valor del píxel a partir de una captura con una óptica de baja resolución, para generar un conjunto de imágenes de baja calidad y bajo consumo de datos de almacenamiento. Es decir, si pensamos en un Modelo de Difusión, sería el equivalente al difusor.

Figura 7: Comparación de calidad en compresión fotónica y JPEG

Ese conjunto de imágenes se convierten en la información latente del modelo, y son el conjunto de datos de entrada que utilizará el Modelo de GenAI para hacer el denoising, y generar una imagen final de alta calidad con un alto grado de similitud con el resultado final. Es decir, algo parecido a cuando vimos que era posible aumentar la calidad de la miniatura de las imágenes de 1-sólo-uso enviadas por WhatsApp, o a cuando vimos que se utilizaban señales cerebrales para reconstruir imágenes de lo que está viendo una persona. En este caso, imágenes difuminadas - o comprimidas en calidad - usando fotónica.

Reflexión final

Lo más prometedor de esta tecnología es que permite comprimir y procesar imágenes con una eficiencia energética mucho mayor, a una velocidad mucho mayor, generando imágenes, gracias a la combinación de Fotónica e Inteligencia Artificial, con una calidad mayor incluso que la del popular formato JPEG. Una aplicación de la fotónica en la fase de compresión de la imagen, que se aprovecha de la velocidad de la luz para la fase de reducción de calidad, igual que el proyecto de Microsoft Research lo hacía para calcular la multiplicación de matrices.  La luz y la fotónica está de moda, y si no que se lo digan a LightMatter.

Saludos,

Autor: Daniel Romero Ruiz

Contactar con Daniel Romero Ruiz