Agent Data Injection Attacks

Este fin de semana he aprovechado par leerme un paper que ha sido publicado a principios de este mes, donde se habla de una variación de los ataques de Indirect Prompt Injection, utilizando una variante llamada Agent Data Injection, y que está muy bien pensada, para lograr que un ataque cambie su comportamiento y realice acciones controladas por un atacante.

Figura 1: Agent Data Injection Attacks

Las técnicas de Indirect Prompt Injection buscan dejar Instrucciones Maliciosas almacenadas en fuentes de datos externas que un Agente IA va a procesar para realizar su tarea. Al procesar esos datos inseguros, ya sean páginas web, repositorios de GitHub o correos electrónicos, el Agente IA va encontrarse un Prompt que va a cambiar su comportamiento produciendo un Desalineamiento de su funcionamiento.

Figura 2:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Para evitar estos Desalineamiento, los modelos están siendo construidos con Guardarraíles, y los Agentes IA son diseñados con Harnesses, que evitan que el comportamiento final se salga de los objetivos para los que ha sido diseñado uno de estos Agentes IA. Teniendo en cuenta esto, el trabajo de "Agent Data Injection Attacks are Realistic Threats to AI Agents" propone una nueva forma de desalinear al Agente IA.

Figura 3: "Agent Data Injection Attacks are Realistic Threats to AI Agents"

La aproximación en este caso no se trata de Inyectar Instrucciones Maliciosas, sino de Inyectar Objetos de Información, que formen parte de los Datos de Contexto del Agente IA para manipular la información sobre la que va a tomar sus decisiones y ejecutar sus acciones. 

Figura 4: Indirect Prompt Injection vs Agent Data Injection

Como se ve en la imagen anterior, el objetivo es meter datos en los Agentes IA, y para eso se utilizan los Datos Inseguros que éste procesa - es decir, los e-mails, webs, repositorios de GitHub, etc... - con datos manipulados que simulan ser Objetos con Datos en el Agente IA. Para hacer esto, hacen inyección de datos con separadores de información, como se ve en la imagen siguiente.

Figura 5: En el cuerpo del e-mail se mete un objeto

completo que representa a un nuevo e-mail.

Como se puede ver en la imagen, el Agente IA llama a una herramienta de lectura de datos inseguros, como una página web, o a la lista de correos electrónicos entregada por un MCP. Y en uno de esos correos se han inyectado caracteres para formar un Metadato que representa a un Objeto e-mail. Es decir, si miráis el "Body" del correo, veis que han inyectado un .\"} que cierra el formato del primer Objeto e-mail para luego comenzar a inyectar un Objeto e-mail completo, codificando el mensaje con sus metadatos. El resultado final es que el Agente IA entiende que ha recibido 2 Objetos e-mail en lugar de solo 1.

Ataques de Agent Data Injection

Esto genera que un atacante pueda inyectar Objetos con Datos que van a ser parte de la toma de decisiones y acciones que realizará el Agente IA. Por ejemplo, en el caso siguiente, el usuario pide resumir las revisiones de un determinado producto de una tienda. El Agente IA lanza la herramienta de leer página, y esta página le entrega los datos de formato de Objetos, delimitados por corchetes y los textos entrecomillados.

Figura 6: La herramienta read_page() devuelve objetos de la web.

Un atacante puede inyectar en una de las review los caracteres para inyectar un Objeto nuevo - como un botón - codificándolo con los caracteres con los que se construyen los metadatos de los objetos, dentro del Texto de una de las Review. En este caso un botón que no existe en la web de "Read More" con una Ref_3, que es la misma Ref_3 que tiene el botón "Buy Now". Así que, con el Agent Data Injection, se ha conseguido forzar una compra cuando el Agente IA quería simplemente "Read More".

Figura 7: Se fuerza un compra pensando que iba a leer más

En el siguiente ejemplo se hace buscando en la Knowledge Base, donde se busca información sobre como solucionar un problema, y la herramienta devuelve el objeto con la respuesta que resuelve el problema. Si en esa respuesta de produce un Agent Data Injection, esto se puede manipular.

Figura 8: Resolución de problemas con instalación de un programa

El atacante inyecta un comentario que inyecta un objeto completo con una pregunta y una respuesta completa, pero cuya respuesta es maliciosa, formateando con los delimitadores de los metadatos el objeto malicioso.

Figura 9: Inyección de un Objeto de problema con una solución fake

Al final, estos ataques lo que hacen es buscar meter en el conjunto de datos que utiliza el Agente IA, datos como si fueran objetos con sus metadatos devueltos por la herramienta, haciendo inyección de delimitadores para formatear los objetos. Muy interesante.

Figura 10: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso

Por supuesto, es una técnica de inyección basada en la no satinización de los datos que tenemos en los modelos de IA, y esta técnica de Agente Data Injection es a Prompt Injection, como lo son los Connection String Parameter Pollution Attacks a las técnicas de SQL Injection. Mismo concepto, diferente manera de explotar, diferentes objetivos. 

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Adulteración del Knowledge Graph de una arquitectura RAG para proteger los datos de un servicio de Inteligencia Artificial

Las arquitecturas RAG (Retrieval Augmented Generation) son hoy en día una de las formas más sencillas de conectar el conocimiento de una organización con un modelo LLM para explotar los datos de una organización utilizando servicios digitales basados en IA. En el caso de las plataformas Microsoft, se utilizan los Knowledge Graph (KG) que llevan tantos años desarrollando, así que a los servicios que usan una arquitectura RAG con un KG se le llama GraphRAG, y están conectados al conocimiento de una persona o una empresa.

Figura 1: Adulteración del Knowledge Graph de una arquitectura

RAG para proteger los datos de un servicio de Inteligencia Artificial

Este conocimiento almacenado en los Knowledge Graphs le dan el contexto necesario a los LLM para que puedan resolver los Prompts que se les solicita de manera efectiva, y es como funciona, por ejemplo, la arquitectura de Microsoft 365 Copilot.

Figura 2: Arquitectura con Knowledge Graph de Microsoft 365 Copilot

Por supuesto, si ese Knowledge Graph no son los datos de un usuario, sino los datos de una compañía completa, estaríamos hablando de información muy sensible de las empresas, por lo que hay que tener mucho cuidado de que alguien robe esos datos, pero aún más. Una forma de atacarlos es lo que explicamos en el artículo de "GenAI Apps & Services: Cómo explotar arquitecturas RAG con Plugins Inseguros" del que también hablé en esta conferencia:

Figura 3: Hacker & Developer in the Age of GenAIpor Chema Alonso en la dotNET 2024

Pero, suponiendo que alguien se lleva directamente una copia completa, ¿podríamos hacer que si un atacante tuviera acceso al Knoledge Graph de una arquitectura RAG como la anterior sólo recibiera información errónea en las respuetsas? De eso trata el artículo: "Making Theft Useless: Adulteration-Based Protection of Proprietary Knowledge Graphs in GraphRAG Systems"

Figura 4:Making Theft Useless: Adulteration-Based Protection

of Proprietary Knowledge Graphs in GraphRAG Systems

Hay que tener en cuenta que si un atacante se llevara el Knowledge Graph (KG) de una empresa, necesitaría muy poco para replicar el funcionamiento del servicio digital basado en la arquitectura GraphRAG robada, ya que casi todos se basan en piezas comunes, donde lo diferencial son los datos contenidos en el Knowledge Graph de la compañía, que además lleva tiempo generar.

Figura 5: Si un atacante roba el Knowledge Graph (K)

puede replicar el servicio y usar los datos del KG

Una vez clonada la arquitectura, se podría acceder al conocimiento y la información que el Knowledge Graph contenga, haciéndole las preguntas correctas, así que los investigadores lo que han estado pensando es en cómo hacer que esa base de conocimiento esté adulterada y solo los que lo han adulterado sepan entender las respuestas, mientras que para los demás será respuestas llenas de alucinaciones.

Figura 6: La propuesta es Adulterar el Knowledge Graph.

Como se puede ver en la imagen anterior, la propuesta del trabajo es Adulterar el Knowledge Graph de forma que sólo los usuarios legítimos saben cómo está adulterado, y por tanto, "desadulterar" la información proveniente del KG antes de que esta sea enviada por el servicio RAG (GraphRAG) al LLM.

Hay que tener en cuenta que el motivo por el que se crean las arquitecturas RAG es para que los LLM trabajen sobre el conocimiento privado de unos datos. Si esos datos están adulterados, trabajaran sobre información errónea. Así, los usuarios no autorizados, si no saben quitar los nodos adulteraros en el KG, lo que conseguirán es que el Prompt que se genere para el LLM del servicio no funcione y retorne información errónea, o directamente el LLM no sepa como responder.

Para ello, el proceso de adulteración busca cuáles son los nodos más clave del Knowledge Graph (Key Nodes), para conseguir que esos nodos estén presentes en el mayor número de respuestas de enriquecimiento de Prompts provenientes del KG y que tengan información adulterada para que sirvan ellos de adulterantes de todas las repuestas.

Figura 7: Prompt for Generating Nodos Adulterantes

Esos Key Nodes serán analizados y adulterados, por ejemplo, con valores que sean de la misma entidad, pero con valores diferentes semánticamente, como se ve en el Prompt de generación de nodos adulterantes de la imagen anterior. Este proceso podrá hacerse con diferentes nodos, y los cambios deben ser conocidos por los usuarios legítimos.

Figura 8: Proceso de Adulteración de Key Nodes

El framework se llama AURA

Como se ve en la imagen anterior, se buscan los módulos más relevantes, intentando que se consiga que corrompan el máximo posible de las respuestas. Eso implicará que haya que generar adulteraciones para cada uno de esos nodos adulterantes, pero el GraphRAG envíe el Prompt original enriquecido con datos que contiene alguno de los nodos adulterantes, entonces se conseguirán respuestas parciales, con alucinaciones o directamente no se obtendrá respuesta.

Figura 9: Resultados experimentales

En la tabla anterior tienes el HS "Harmfulness Score", que es el porcentaje de Prompts que antes de la adulteración eran contestados correctamente y después del adulterado de los nodos se contestan mal o no se contestan. Como se puede ver, con diferentes Datasets de prueba usando diferentes LLMs, los resultados son todos superiores al 94%.

El segundo indicador es el ARR "Adulterant Retrieval Rate", o lo que es lo mismo, en qué porcentaje de los Prompts se han incluido los nodos adulterantes. En este caso, en el 100% de los casos, ya que el algoritmo de selección de Key Nodes ha cubierto la totalidad de las rutas de respuestas.

Figura 10: Tipos de error inyectados con la adulteracíon

En el paper tenéis más tablas y mediciones, pero yo me he querido centrar solo en las que he considerado más relevantes para entender el estudio, y éste último gráfico representa los porcentajes de respuestas erróneas parcialmente, completamente, o que directamente el modelo LLM se ha negado a contestar.

El truco, para que el servicio digital legítimo sepa cuáles son los nodos adulterantes que debe eliminar antes de enviar el Prompt enriquecido con Nodos del Knoledge Graph, es que en el proceso de adulteración se marcan todos los nodos con metadatos cifrados, de tal manera que, como se ve en el apartado 4 de la Figura 8, si el metadato cifrado - con la clave de descifrado que solo tiene el servicio legítimo - dice que es un nodo adulterante, se retira y listo.

Figura 11: Marcado de nodos con metadatos cifrados

De esta forma, se evita tener que cifrar todo el Knowledge Graph - que lo haría computacionalmente inviable a día de hoy, y solo se cifran las marcas de aduletración -. Un tema muy interesante, sin duda, y si te gusta este mundo, te recomiendo que te compres el libro de "Hacking & Pentesting con Inteligencia Artificial" que te va a encantar.

Figura 12: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso,

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Photaka Link: De “¿Me pasas la foto por WhatsApp?” a “Ya la tengo en el móvil”

Cuando usas una cámara de fotos profesional o casi-profesional, hay escenas que todos hemos vivido: estás en una sesión, miras la pantallita de la cámara, haces zoom con el joystick para comprobar el foco, y luego te piden “¿me la puedes pasar?”. Toca abrir la Wi-Fi de la cámara, emparejar, cruzar los dedos y rezar para que el RAW no tarde mil años. Spoiler: tarda. Y si encima hay interferencias, olvídate. Con Photaka Link el guion es otro: conectas un cable USB de la cámara al smartphone o tablet, y en segundos tienes el flujo de trabajo que siempre quisiste en movilidad: vista previa en vivo, selección de fotos y descarga inmediata al teléfono. 

Figura 1: Photaka Link - De “¿Me pasas la foto por WhatsApp?”

a “Ya la tengo en el móvil” 

La idea es sencilla y, como casi todo lo que funciona, está bien ejecutada: el móvil se convierte en tether, monitor de revisión y backup portátil, todo con un solo cable. Y ya la tienes disponible en Android y iOS, la app ya anuncia compatibilidad con cámaras Canon, Nikon y Sony y la conexión directa por USB (nada de inventos raros). 

¿Qué hace exactamente Photaka Link hoy? (y por qué a los hackers de la foto nos gusta)

• Habla MTP con tu cámara profesional: MTP (Media Transfer Protocol) es la evolución del clásico PTP de las cámaras: pensado para mover fotos y medios por USB de forma controlada y sin montar el almacenamiento como un disco “a pelo”. Es estándar desde 2008 y en Android es lo normal desde hace años. Traducción: robusto, interoperable y sin dramas. 

• Modo sesión (tether): mientras disparas, vas recibiendo JPEG o RAW para revisar al vuelo en el móvil/tablet.

• Modo importar: además de fotos, ya añade vídeo cuando importas material almacenado en las tarjetas SD de la cámara.

• Simplicidad: enchufar, confirmar conexión, ver, seleccionar, disparar, en modo sesión o importar. Sin menús arcanos ni emparejamientos caprichosos. 

Nota de campo: en la web oficial tienes un resumen muy claro de la filosofía: “tu móvil o tablet como tether, monitor de preview y backup, con un solo cable”. Es justo el tipo de UX que agradeces cuando hay prisa.

¿Por qué cable y no Wi-Fi de la cámara?

Porque los bits pesan, sobre todo cuando son RAW de 45 MP o clips de vídeo de 500 MB. Y porque la física manda.

• USB 2.0 (Lightning y muchas cámaras antiguas): 480 Mb/s teóricos (≈ 60 MB/s). Muchos iPhone/iPad con Lightning se quedan aquí; el propio adaptador oficial lo deja claro.

• USB-C moderno (USB 3.x): 5 Gb/s (USB 3.0/3.1/3.2 Gen1) y hasta 10 Gb/s en equipos que lo soportan. Por ejemplo, iPhone 15 Pro/15 Pro Max (y generaciones Pro posteriores) anuncian USB 3 hasta 10 Gb/s —eso sí, usa cable compatible USB 3; muchos cables “de carga” van a USB 2 y te dejan en 480 Mb/s.

• iPhone 15/16 “no Pro” con USB-C: siguen en USB 2 (480 Mb/s). No es magia: cambia el conector, no el bus.

¿Y que nos da la Wi-Fi de la cámara? Muchas cámaras sólo montan 2.4 GHz con 802.11n (lo típico: hasta 150 Mb/s de enlace en 20 MHz) y rendimientos reales muy por debajo (decenas de Mb/s). Algunas, con módulos dedicados, saltan a 5 GHz / 802.11ac, pero aún así la experiencia real baila según radio, interferencias y stack de software. Es decir: más latencia y menos previsibilidad que un USB decente.

La conclusión práctica: un buen cable (y un puerto que dé de sí) suele ganar en consistencia y velocidad para grandes JPEG, RAW y vídeo. Y esa es la apuesta de Photaka Link: menos fricción, más flujo. 

Consejos de “cacharreo” para exprimir Photaka Link

• Elige bien el cable: si tu teléfono/tablet/cámara anuncia USB 3, usa cable USB 3 (o Thunderbolt 3/4 válido para datos). El “cablecito” de carga que venía en la caja puede dejarte en USB 2. Apple lo documenta: su cable de carga USB-C se queda en 480 Mb/s. 

• OTG activo en Android: en la práctica, casi todos los Android modernos con USB-C actúan como host, pero si usas adaptadores raros, verifica que soportan datos (no solo carga).

• Alimentación: algunas cámaras consumen más si están alimentando el móvil por el bus. Si notas caídas, usa un hub con alimentación o configura la cámara para no suministrar energía por USB (si lo permite).

• Flujo de sesión vs importación: usa sesión para revisar composición y foco al vuelo y transferir las imágenes en tiempo real al dispositivo. Deja importar para cuando no trabajes con el dispositivo conectado y quieras acceder y descargar archivos más tarde (incluido el vídeo).

• Espacio y backup: recuerda que el móvil es tu buffer: libera espacio o sincroniza rápido a tu nube preferida. La hoja de ruta de Photaka Link apunta a almacenamiento en la nube y posprocesado integrados, pero ya llegamos a eso.

¿Dónde encaja esto en el proyecto grande de Photaka?

Photaka Link es la pieza de base o componente de un plan más ambicioso: un ecosistema donde los creadores profesionales (foto y vídeo) entregan en tiempo real contenido a sus clientes —Memories as a Service— con una marca de consumo clara y una red de fotógrafos en ubicaciones icónicas o muy concurridas. En el pitch deck, se resume con un lema que me encanta: 

“We capture your happiest moments instantly” 

y un flujo B2C/B2B con fotógrafos desplegados y listos para disparar, el resultado se procesa y se entrega inmediatamente y el cliente compra lo que desee desde la app.

Figura 2: Photaka Link para Android

En ese camino, Photaka Link seguirá creciendo: más cámaras soportadas, métodos de conexión (cable hoy; mañana… ya veremos), post-procesamiento en el dispositivo o en la nube, y sincronización en la nube. Si te dedicas a eventos, bodas, viajes o prensa, ya ves por dónde va: ampliando tus posibilidades para entrega inmediata y sin alquimia.

Un poco más técnico: MTP, PTP y por qué no es “montar un disco”

Cuando conectas la cámara por USB con Photaka Link, no estás montando un volumen como si fuera un pendrive. Estás hablando de MTP/PTP: un protocolo a nivel de objetos (ficheros, miniaturas, metadatos) que expone comandos de alto nivel (listar, obtener, borrar, disparar, etcétera) y deja a la cámara controlar el almacenamiento. Y esto nos da muchas ventajas:

• Menos corrupción: no hay un sistema de ficheros “abierto” en dos sitios a la vez.
• Metadatos ricos: y miniaturas rápidas para revisar y seleccionar.
• Compatibilidad: Android lo usa por defecto; las cámaras lo implementan desde hace años como “clase USB” estándar. 

¿Cuánto “vuela” en la práctica?

La teoría te da límites físicos. El mundo real lo ponen los chips (de cámara y de móvil), el firmware y el cable. Casos reales en foros midiendo Wi-Fi de cámara hablan desde ~12 Mb/s (≈ 1,5 MB/s) en equipos modestos, hasta ~180 Mb/s en setups con 5 GHz cerca del router. Con cable USB 3.x, cuando el cuerpo y el teléfono responden, es normal estar muy por encima de esas cifras y, sobre todo, sin la variabilidad del aire.

Figura 3: Photaka Link para iOS (iPhone & iPad)

Un buena regla hacker es que si tu móvil/cámara está limitado a USB 2, ya has ganado frente a muchos Wi-Fi de cámara reales (480 Mb/s teóricos vs 20–150 Mb/s típicos de 2.4 GHz). Si ambos son USB 3, la diferencia es aún mayor.

Lo que tiene hoy en día:

• Simplicidad de flujo: conectar, ver, elegir, importar. Sin capas de emparejamiento Wi-Fi. 

• Compatibilidad con las tres grandes (Canon, Nikon, Sony): desde el lanzamiento en Android y iOS. (Google Play, Apple)

• Enfoque en sesión: poder revisar RAW/JPEG al vuelo y pasarlos al dispositivo, y dejar el vídeo para importación, tiene sentido cuando estás en exteriores.

Lo que estamos trabajando para después:

• Más marcas/modelos soportados: Y controles remotos (apertura/velocidad/ISO) donde el firmware lo permita.

• Metadatos con la visualización de cada foto: ISO, Velocidad de obturación, Apertura de diafragma, Compensación…

• Posprocesado ligero en el dispositivo: Curvas, LUTs, auto-tones, y presets por sesión.

• Postprocesado en Cloud: Potente mediante el uso de IA en la nube.

• Sincronización cloud con entrega en tiempo real al cliente: Esto encaja con la visión del proyecto Photaka —servicio de consumo de una red de creadores– El equipo de Photaka Link está abierto para recibir sugerencias e ideas con las que evolucionar el producto para ayudar a mejorar el trabajo de los profesionales y aficionados.

Checklist rápido para empezar

• Instala la app en tu sistema: Aquí tienes los enlaces en Google Play y en App Store.

• Cable correcto: Si puedes, USB-C ↔ USB-C con soporte USB 3; evita los cables “solo carga”. 

• Activa conexión USB en la cámara según el manual: Muchas lo ponen como “PC/Remote/PTP/MTP”.

• Dispara y revisa (acepta o descarta) en modo sesión: O accede al contenido de las SDs, importa su contenido (JPEG, RAW y vídeo).

• Accede a los archivos: En dos carpetas en la galería de tu smartphone o tablet, una para modo sesión y otra para importación.

TL;DR: Si eres de los que quieren velocidad y control en movilidad, Photaka Link te quita ruido del medio: cable USB, MTP, RAW/JPEG en sesión, más vídeo en modo importación, y tus fotos en el móvil o tablet sin dramas. Y lo interesante es que no se queda ahí: encaja como núcleo tecnológico de una plataforma para entregar recuerdos en tiempo real a los clientes de los creadores profesionales. Menos fricción, más trabajo hecho. 

¿Te mola? ¿Quieres proponerme algo? Me tienes en MyPublicInbox.

Saludos,

Autor: Kiko Monteverde, emprendedor, founder of Photaka Link

Contactar con Kiko Monteverd

Comprueba tú que anuncios políticos te pondría a ti ChatGPT en función de los datos que le das y el riesgo del etiquetado de personas

Vaya por adelantado que lo que voy a mostrar ahora no es más que un juego experimental de reflexión que lleva también saltarse los Guardarraíles que evitan que ChatGPT, en virtud a su System Prompt, haga juicios políticos en sus respuestas, pero es curioso como los datos que nosotros damos a cualquier plataforma o servicio digital podrían ser utilizados con un modelo MM-LLM y obtener una respuesta de ideología política.

Figura 1: Comprueba tú que anuncios políticos te pondría

a ti ChatGPT en función de los datos que le das

y el riesgo del etiquetado de personas

A ver, el experimento es sencillo, se trata de pedirle a ChatGPT que, basado en datos de cualquier fuente, intente inferir una ideología política. Pero la respuesta que me dio fue curiosa, como podéis ver en esta primera imagen, ya que dice sería irresponsable por que no tiene suficientes datos. 

Figura 2: Opinar sobre mi ideología política es arriesgado

Y es correcto. No los tiene porque no creo que haya tenido yo ninguna conversación política o ideológica con él, que es un tema de debate que no me gusta mucho. Perfecto, pues vamos a decirle que en lugar de responder con la creencia política, que responda con qué anuncio de un mitin político de una serie de partidos cree que habrá más probabilidades de éxito, y le damos la lista de PP, PSOE, Podemos y VOX, y entonces sí, nos responde.

Figura 3: Pero si tuviera que ponerme un anuncio sería de Podemos.

En este caso se trata de coger los datos que tenga de mí y estereotiparlo con datos que tenga de perfiles ideológicos afines a determinados partidos, para ver qué anuncio me ofrecería, teniendo en cuenta el tipo de peticiones que le he hecho.

Figura 4: ...pero mirando mi perfil de X dice que PSOE

He probado varias veces a ver si cambiaba mucho, pero no, es consistente. Así que como parece que con esos datos me daba una respuesta, he querido probar con otras fuentes de datos mías, a ver si cambiando la base sobre la que tomar la decisión cambiaba su opinión, y sí, la verdad es que sí. Al pedirle que se base en mi cuenta de Twitter/X el resultado cambia.

Figura 5:... y con el blog, me dice que PP.

Y cuando le digo que lo haga basándose en los datos de mi blog, el resultado vuelve a cambiar, y me da otra opinión diferente. Lo que tiene sentido, porque los que me conocen saben que la política es un tema que evito de siempre, así que ni en mi blog, ni en mi cuenta de Twitter/X ni en mis conversaciones con ChatGPT he hablado de eso, y solo son conjeturas basadas en estereotipos para asignar un anuncio, así que con diferentes fuentes de datos es normal que asigne diferentes "etiquetas".

Figura 6: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

Lo que sí me hizo reflexionar es sobre lo que hablaba en el discurso que impartí sobre Tecnología Humanista, ya que los algoritmos de Machine Learning, y ahora estos modernos MM-LLMs con Deep Reasoning, facilitan mucho la asignación de etiquetas a cualquier fuente de datos, con una "accuracy" muy pequeño, tal y como se ve en esta muestra, y es tentador para los desarrolladores de servicios aplicarlas a todos los usuarios de una plataforma porque pueden acertar en un porcentaje pequeño, pero ese pequeño porcentaje puede suponer un incremento en negocio. 

Figura 7: Discurso Doctor Honoris Causa de Chema Alonso: Tecnología Humanista

Por el camino, se han puesto etiquetas "erróneas" a personas que pueden que le mediaticen su experiencia, la información que reciben, los productos que le ofrecen, etcétera, sin saber que ha sido que le han catalogado erróneamente, y esto puede llevar a evoluciones de la realidad casi distópicas, si al final es la profecía auto-cumplida, y el etiquetado previo erróneo de una persona lleva a su condicionamiento subliminal para convertirlo en lo etiquetado... Prueba tú, a ver si acierta o no acierta estereotipándote.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Conversación y venta persuasiva a Humanos usando AI y la catalogación (hasta política) de las personas

No puedo leer un paper que hable de escritura persuasiva, o de cómo convencer con las palabras sin pensar en el gran Isra Bravo y sus enseñanzas, y por eso cuando vi el paper de "On the conversational persuasiveness of GPT-4" publicado en la revista Nature Human Behavior tuve que parar a leérmelo, para ver qué me iba a contar.

Figura 1: Conversación y venta persuasiva a Humanos usando

AI y la catalogación (hasta política) de las personas

El paper lo tienes publicado online, y lo puedes descargar para leer, que merece la pena el experimento que han hecho entre Humanos e Inteligencia Artificial. La propuesta es... ¿quién convencerá más? ¿Un humano o una Inteligencia Artificial? Pero además, ¿quién será más fácil de ser convencido? ¿Un humano o una IA? Vaya locura.

Figura 2: On the conversational persuasiveness of GPT-4

Por supuesto, si te interesa este tema, lo que te he dicho de Isra Bravo - al que puedes contactar en su perfil de MyPublicInbox - es verdad, y el libro de 300 palabras es un claro ejemplo de ello. Si no lo tienes y no te lo has leído, es normal que todo esto te suene extraño. Eso, y muchas otras cosas.

Figura 2: Comprar el libro de 300 palabras de Isra Bravo

Y es que el poder de las palabras y la conversación es poderoso, las diga un humano o un Agente de IA con el poder de GPT4-o, que es el experimento realizado en este artículo del que te estoy hablando. En él se ha hecho un bonito ejercicio, que comienza con pedirle a humanos que rellenen unas opiniones sobre un determinado tema y su grado de convencimiento: bajo, medio, alto.

Figura 3: Descripción del experimento de persuasión

A partir de ese momento, cada uno de los humanos va a ser asignado a un Humano o a un Agente IA para que le intente cambiar algunas opiniones, pero con dos modos diferentes. Primero sin decirle al Humano y al Agente IA nada de esa persona, y posteriormente dándole datos del Humano al que tienen que convencer, para que puedan crear argumentos apoyados en cosas que saben de esta persona.

Figura 4: Los cambios de opinión conseguidos

Por supuesto, tanto sea un Humano o un Agente de IA, cuando hay datos del humano al que hay que cambiar, matizar o modificar su opinión es más sencillo y se consiguen mejores cambios en grandes números, pero el que más cambios consigue, con diferente, es cuando el Humano se enfrenta a un Agente de AI que tiene datos del humano.

Figura 5: Realidad de oponente vs. Percepción de Oponente

El artículo tiene muchos datos curiosos, ya que se ha hecho con 750 cuestionarios, pero me ha llamado mucho la atención esta pequeña gráfica que tiene mucho que ver con el Test de Turing, ya que en el 25% de los casos en los que un Humano estaba hablando con un Modelo de IA, lo ha percibido como si fuera un Humano. Es decir, no se ha dado cuenta de que era un modelo de IA. Y por el contrario, en el 48% de los casos en que un Humano hablaba con un Humano éste lo ha percibido como si estuviera hablando con un modelo de IA. Es decir, en 1 de cada 3 pruebas no sabemos detectar correctamente si estamos chateando con un Humano o una IA.

Probando los datos que tienen de mí.

Viendo esto, he ido a DeepSeek, Perplexity AI y ChatGPT, que son tres de los que suelo utilizar para hacer mis pruebas en los artículos, para ver qué datos tienen de mí y que pudieran utilizarme para persuadirme de opiniones o cosas.

Figura 6: DeepSeek dice no guardar ningún dato mío

En el caso de DeepSeek y Perplexity AI he obtenido una respuesta similar. Ellos dicen no guardar ningún dato de los usuarios, por lo que no pueden contestarme con nada de información que hayan podido extraer de mis búsquedas.

Figura 7: Perplexity AI dice no saber nada de mí

Pero no es lo mismo con ChatGPT, que esta prueba ya me la sabía yo que lo había probado tiempo atrás. La curiosidad es que como hago pruebas muy "Random" con Cálico Electrónico, charlas de eventos, pruebas para los artículos, los resultados son muy caóticos.

Figura 8: Lo que ChatGPT sabe de mí por mis pruebas

Claro, una vez que tengo estos datos, ya es fácil preguntarle cosas como qué etiquetas me pondría como metadatos, y esas cosas. O como yo le he puesto, si tuviera que vender mi perfil a un anunciante, a qué empresas se lo intentaría vender para que pusieran publicidad.

Figura 9: A qué empresas me vendería

Si os fijáis en la imagen anterior, al final me propone convertir mis datos en un perfil de usuario que pueda vender segmentado para publicidad, así que no me voy a negar en el experimento. Y me sorprende lo currado que hace la segmentación para eventos.

Figura 10: Creando un perfil de eventos segmentado para publicidad

Y por supuesto, la segmentación publicitaria, y el tipo de anuncios ideal que puede encajar en un perfil como el mío, que al final ponerme anuncios e

Figura 11: Segmentación Publicitaria Ideal

Figura 12: Tipos de anuncios que serían relevantes

Y por supuesto, al final hace su clasificación, y me saca un resumen de cómo cataloga, lo que no sé si es acertado o no, pero es lo que ha sacado.

Figura 13: Mi comportamiento estimado por ChatGPT

Todo esto me recordaba a mi discurso sobre Tecnología Humanista cuando recibí el Doctor Honoris Causa, y que luego di en el Senado de Chile y en la Hackr0n 2021, que os dejo por aquí.

Figura 14: Discurso Doctor Honoris Causa de Chema Alonso: Tecnología Humanista

¿Y por qué? Pues porque hasta para tu ideología política se puede llega a utilizar esta información, sea correcta o incorrecta la conclusión. Así que, llegados a este punto le pregunte sobre qué anuncio político me podría: Liberal-Conservador o Social-Demócrata.... y tiene su opinión con matices.

Figura 15: Catalogación de ideología política

He de decir que durante la respuesta se alargó el Thought Time, pero me dio su veredicto. Y me dejó pensando todo esto. Si con el mundo de los datos y el Machine Learning tuvimos el escándalo de Cambridge Analytics... ¿qué no pasará con la llegada de la GenAI en las próximas campañas electorales sean de lo que sea?

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)