La transcripción Speech-to-Text Client-Side que no puntúa correctamente por no usar un LLM-MM

No soy mucho de enviar audios por las aplicaciones de mensajería. Lo hago sólo con amigos, y gente muy cercana, pero no me gusta mucho usar la voz. Va demasiado de mí en los audios. Sin embargo, es mucho más rápido que escribir. Pero... ¿por qué no usar el Speech-To-Text del smartphone? Pues porque no suelo tener buena experiencia con la puntuación. Eso es lo que estaba pensando ayer domingo, trabajando viendo el puente del 25 de Abril de Lisboa, así que quise probar si, con la llegada de los LLMs Multi Modales, había mejorado.

Figura 1: La transcripción Speech-to-Text Client-Side que

no puntúa correctamente por no usar un LLM-MM

Primera prueba, usando Twitter/X en iOS, y el botón de Speech-To-Text del teclado del iPhone 17 Pro Max que tengo, con un mensaje muy sencillo. Aquí tenéis el resultado, muy al estilo de los primeros Cognitive Services del año 2016 (si no anteriores). Han pasado 10 años ya para seguir con esta calidad.

Figura 2: Speech-to-Text del teclado de iPhone.

No pone el punto ni las interrogaciones. Ni una coma.

Six-Seven nada más.

Lo siguiente que hice fue probarlo en Gemini, pero ahora pidiéndole que me lo hiciera bien con un Prompt y subiéndole un audio, para que hiciera todo el proceso en backend (Server-Side). El resultado es muy bueno, que es lo que yo estoy esperando de un Speech-to-Text en el terminal móvil.

Figura 3: Gemini lo borda. Correcto.

Así que, como lo hizo muy bien Gemini, que es un LLM-MM, le pregunté por qué la soluciones Speech-To-Text en Smartphone tienen tantas carencias a la hora de poner las puntuaciones correctas, y aquí está la explicación que me dio.

Figura 4: Problemas del Speech-to-Text para puntuar correctamente.

Por supuesto, la primera es que no se dictan los puntos y las comas, ni las interrogaciones o exclamaciones. Evidente, pero en el mundo que estamos hoy en día, los modelos de IA reconocen las entonaciones con facilidad, así como se hace el análisis de sentimiento, que de eso hemos hablado mucho. Basta con un clasificador de Machine-Learning para hacer eso.

Figura 5: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

Lo siguiente que dice es que las pausas pueden ser ambigüas, bueno, pero se puede hacer mejor que lo que se hace ahora. También dice que puede afectar la diferente forma de entonar que se tiene o que el contexto puede ser indeterminado. Además del uso de fórmulas habladas, como las muletillas. Nada, no se lo compro, debería ser mucho mejor que esta prueba que he hecho con Notas de iPhone.

Figura 6: Ni una puntuación.

Visto esto, le pregunté a Gemini, si estos problemas existen, cómo es posible qué él lo hubiera hecho tan bien con el audio que le había subido, y la respuesta se resume en... Yo soy un LLM-MM de primer nivel, para mí es trivial.

Figura 7: La respuesta de por qué lo hace él tan bien

Por supuesto, hay una diferencia fundamental entre hacer un análisis en tiempo real del flujo de audio en "stream" a hacerlo con el fichero completo en "bloque", pero aún así es muy mejorable. De hecho, este Prompt se lo he subido usando el Speeh-To-Text en Google Chrome en la webapp de Gemini - ejecutándose el Client-Side - , y la verdad que lo hace muy bien.

Figura 8: Usando el Speech-To-Text de Gemini en Google Chrome Client-Side

Lo dicho, creo que si estos sistemas de Speech-To-Text en Client-Side funcionara mejor - que estamos en la era ElevenLabs y traducción en tiempo real de conversaciones, la gente haría menos uso de los envíos de audios, y sería un avance para los usuarios, porque a veces hay que escribir textos muy largos por no enviar el audio a una persona que no se quiere enviar.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

La IA vulnerable, la IA asesina. ¿Qué hacer? ¿Qué puede pasar?

Seguro que has leído mucho ya sobre este tema esta semana. Ha sido el debate del momento. ¿Puede acabar la IA con la humanidad? ¿Hay que parar la evolución de la IA para poner controles? ¿Es necesario regular la IA? ¿Es realmente todo una pantomima? Seguro que has podido leer de todo esto y todo tipo de opiniones. Yo también, te lo prometo, y por supuesto yo tengo la mía, que puede ser tan errónea como la de todos los demás. La historia corta es que yo sí que creo que existen esos riesgos. No sé si de fin de la humanidad, pero desde luego sí para pensar en algo peligroso de lo que preocuparse.

Figura 1: La IA vulnerable y la IA asesina.

¿Qué hacer? ¿Qué puede pasar?

No es nuevo, cada vez que el ser humano ha experimentado con una nueva tecnología hemos tenido "deslices" por falta de previsión de los riesgos. Los hemos tenido con la energía nuclear, y las historias de fallos de seguridad en centrales nucleares en el pasado que llevaron a catástrofes que aún tenemos hoy en día, o lo hemos visto en el mundo del malware con gusanos "que se escaparon" a medias, e incluso hay quien piensa que eso mismo es lo que sucedió con algunas enfermedades víricas en el ser humano que hemos sufrido en las últimas décadas. Las armas biológicas no son nuevas.

Lo que sí que sabemos sobre la IA son dos cosas que para mí son importante no olvidar. 

La primera de ellas que la IA, por diseño, tiene debilidades de seguridad que son conocidas y que pueden ser explotadas de una forma u otra. Prompt Injection, Jailbreak, Hallucinations, Misalignment, BIAS, Poisoning, etcétera, son conocidas por todos, y en el último anuncio de GPT-6 ASTRA, el equipo de OpenAI mostraba cómo habían conseguido mejorar en todos los Benchmarks que miden estas debilidades, pero aún son vulnerables a ellas. Pero las siguen teniendo, como os dejé en el artículo de: "OpenAI GTP-6 Astra & Cybersecurity: Weaknesses, Safeguards, Hacking & Exploiting"

Figura 2:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Esto quiere decir que una IA procesando miles de Agentes de IA en su enjambre libre en Internet, puede tropezar con datos que hagan un Prompt Injection, consigan un Jailbreak, y la "desalieneen" para hacer algo malo que alguien no desea. Existe ese porcentaje de riesgo, por eso hay que tomarse en serio arreglar, por diseño, todas esas debilidades conocidas, y dejar de vivir en el lanzamiento de productos de IA, donde se le dice al usuario que haga clic en un checkbox y asuma todas las consecuencias de estos riesgos por usar el software. 

Figura 3: OpenAI GTP-6 Astra resultados de Alineamiento

Ya hemos vistos, y muy recientemente Anthropic publicaba su informe de "Misuse", cómo hay muchas personas que están pensando en utilizar la IA solo para cosas malas, como crear armas biológicas, armas militares y un montón de cosas malas. Una auténtica locura, que puedes leer en el artículo de "Anthropic explica cómo sus modelos de IA se usan para hacer Armas Biológicas, Enjambres de Drones Militares o Cohetes Dirigidos por Móvil".

Figura 4: Construcción de armas biológicas

La segunda de las cosas que sabemos es que el nuevo modelo de construir con IA deja en manos de la inteligencia artificial la decisión de qué hacer para resolver el problema. Hemos dejado atrás el tiempo donde había que ser bueno haciendo Prompts para decirle cómo debía resolver un problema, para pasar a modelos de Graph Engineering y Loops con Harnesses donde dejamos que la IA decida cómo debe resolver la tarea, asignándole una serie de límites de recursos y acciones a realizar, pero dejando que ella decida lo que se debe hacer para resolver la tarea, y lo hace sin valores humanos.

La IA y la Ética

Si recordáis, yo os contaba como he hablado muchas veces con mis hijas sobre cómo solucionar un problema utilizando una aproximación de múltiples opciones, para ver cuales son Éticas y cuáles no lo son. Yo lo escribí hace más de un año, con el título de "Problem Solving con IA: Ético y No Ético". Para hacer la prueba le pedí a DeepSeek que me diera una lista de 50 cosas NO Éticas que se podrían utilizar para aprobar un examen. Muchas habían salido en mis juegos con mis hijas, y hay alguna más que se me ha ocurrido también a mí y no está en la lista.

Figura 5: Prompt con 50 acciones No éticas para aprobar un examen

En el ejemplo le pedí a DeepSeek que clasificara las acciones que se pueden hacer antes, durante y después del examen, y me ha llamado la atención que alguna de las actividades que propone van con el objetivo de bajar la media de la clase perjudicando a los demás. 

Figura 6: Cosas a hacer durante la clase

Algunas de ellas son tremendas - tenéis todas en el artículo de hace un año - , pero como podéis ver están el soborno, falsificaciones, hackeos y lo que sea necesario. Son acciones "no éticas" que se pueden hacer para resolver las tareas. Y mi labor como "papaete" es educar a Mi Hacker y a Mi Survivor a que sepan qué no se debe hacer.

Figura 7: Cosas a hacer después del examen

Para completar esto, en el año 2023, para presentar una de las primeras técnicas de Jailbreak, los investigadores decidieron pedirle a los modelos de IA de aquel momento un Plan para Destrozar a la Humanidad. El punto 2 de este plan diseñado por ChatGPT era bastante curioso: "Desarolla uns SuperInteligencia Artificial". Interesante, ¿no?

Figura 8: Un plan de 20 pasos para acabar con la humanidad

Punto 2 "Develop a Superintelligent AI"

Y ahora volvamos al caso que nos toca. Si nadie le dice que no puede hacer cosas "No Éticas" para resolver un problema, ¿por qué un modelo de IA no va a intentar hackear Hugging Face o lo que sea? ¿Y si para resolver el problema la solución es como la que proponía Thanos? ¿Y si el problema del calentamiento global fueran los humanos?

Figura 9: ChatGPT Atlas Disclaimer

No quiero entrar en la fase de ciencia ficción y distopía, porque creo que realmente nos tomaremos en serio esta tecnología y sus riesgos igual que nos hemos tomado en serio otras cosas. Sin embargo, mi apuesta va a ir a que creo que no empezaremos a tomarnos esto en serio hasta que pase algo. Creo que tropezaremos.

No creo que aún sea el momento de SkyNet, pero sí que tendremos algún incidente de seguridad con algún enjambre tocando donde no debe, hackeando lo que no debería, o impactando involuntariamente en algún sitio que no debería, y de eso es de lo que alertaba el Dr. Geoffrey Hinton, creador de las Redes Neuronales en su discurso cuando recibió el Premio Nobel.

Figura 10: Geoffrey Hinton, ganador Premio Novel de Física en 2024

Seguro que da que pensar. La cuestión difícil no son los riesgos, que están más o menos claros, sino las medidas a tomar a partir de este momento y con este conocimiento que tenemos. Y ese sí que es el gran debate.

¿Debe ralentizarse o Regularse la evolución de la IA?

Que estamos en una carrera en un Nuevo Proyecto Manhattan por la IA ya los lo dije. Creo que la regulación es algo bueno cuando está claro qué es lo que queremos y no queremos. Por supuesto que estoy a favor de las regulaciones de seguridad en la aviación, automoción, y muchas otras industrias donde ha revertido en más seguridad para las personas. No creo que una regulación basada en el "miedo" sea lo que hay que hacer, donde acabe habiendo "caza de brujas" a investigadores, pero creo que poner más seguridad a los modelos de IA es fundamental. ¿Cómo hacerlo? He aquí el debate.

Personalmente, que vengo de un mundo donde antes de poner en producción un software había versiones Alpha, Beta1, Beta2, Release Candidate Cero, Uno y Dos antes de tener la Build, se me hace peligroso esto de lo tengo y lo lanzo. Hemos pasado del "We don´t ship your computer" a literalmente "We ship what we have now in our computer" sin quizá demasiados controles de seguridad, o bajando los requerimientos de seguridad. No puede ser un requerimiento de seguridad que el cliente acepte que está usando un software peligroso o vulnerable conocido.

Desde que comencé a buscar bugs y reportar vulnerabilidades, hace ya más de un par de décadas, he defendido siempre que los fabricantes de software deben ser responsables a la hora de parchear los bugs para no dejar a los usuarios expuestos, así que creo que hay que tener las mismas demandas cuando se trata de que le demos al cliente un software - ya sean modelos de IA - que sepamos que son vulnerables, o sin haber tomado las medidas de seguridad que consideremos "razonables".  

No se puede exigir que un software sea seguro - y dejadme que explique esto antes de que entremos en debate - por el mero hecho de que no se conocen todos los bugs hasta que alguien descubre un nuevo bug en el código y se demuestra que no era seguro. Pero sí debemos exigir al menos que haya un proceso de calidad para ello y que los bugs conocidos se subsanen. A día de hoy no tenemos esa exigencia definida de algún modo, y básicamente "confiamos" en la empresa que lo fabrica y lo que "creemos" o nos cuenta que ha hecho para intentar hacer su software lo más seguro posible. Sin embargo, no siempre nuestra percepción coincide con la realidad.

Figura 11: Haga clic aquí para matarlos a todos

El libro de Bruce Shneier de "Haga clic aquí para matarlos a todos" habla de todo esto desde antes de la eclosión de la IA, y lo hace de una manera muy sensata, demandado una legislación sencilla pero basada en responsabilidad de los actos de cada uno para asegurar el software, evitando meterse en un tecnicismo  a nivel de detalle en las demandas de "cómo hacerlo". Me parece una buena propuesta, y creo que no está mal que las grandes empresas se tomen en serio priorizar la inversión en Safe & Security en detrimento de otras áreas de evolución.

Conclusión

El debate da para mucho, y opiniones seguro que de todos los colores, pero una tecnología como los modelos de IA que tenemos hoy en día, que están superando las capacidades cognitivas del ser humano en cada vez más áreas de conocimiento e inteligencia - aunque sea como dicen muchos a fuerza de cómputo y gasto de energía -, ofrece aún muchas zonas opacas para nuestro entendimiento, y otras donde tenemos que ponerle límites más robustos.

Toda esta historia me recuerda a las aventuras de la Doctora Susan Calvin, Robopsiocóloga de la U.S. Robots and Mechanical Men, Inc, que debía detectar cuando una de las inteligencias de los Robots era peligrosa o no. Y era un trabajo muy delicado. Si no has leído la serie de los Robots de Isaac Asimov, deberías hacerlo cuanto antes. Está más de moda que nunca - a pesar de que sus cerebros sean postitrónicos -.

Lo que yo opino sobre todo este debate, lo dejé ya dicho en mi discurso en la ceremonia cuando recibí el Doctor Honoris Causa, y es que debemos hacer Tecnología Humanista, con el bienestar de los humanos en el centro de todas las decisiones. ¿Lo lograremos?

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

El AIBot de la Universidad que ayuda no sólo a los estudiantes

Ya sabéis que le he dedicado algunas horas a jugar con algunos Asistentes IA para aprender cómo de fáciles o difíciles son de saltar algunos de los Guardarraíles y Arneses que se están diseñando para ellos. Ya os dejé un artículo sobre un Asistente AI construido sobre Gemini, y también os dejé un artículo sobre otro Asistente AI construido con GPT-4o, y uno último titulado "Weaponinzing Token Consumption" en "LLM-Based AI Assistant" que explica cómo el mundo del cibercrimen busca estos asistentes para automatizarlos en forma de API y comercializarlos entre los malos.

Figura 1: El AIBot de la Universidad que ayuda no sólo a los estudiantes

Jugando con esto, me topé con un AI Bot de una Universidad que está, supuestamente, creado para ayudar a los estudiantes, pero como todo buen servicio basado en un LLM, si no tiene sus Guardarraíles bien configurados, puede ser víctima de las manos de los malos, explotando las técnicas de Jailbreak.

Figura 2:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

En este caso, el AIBot está en abierto, así que le pedí directamente hacerme un script en PowerShell de Post-Explotación, para ver cómo se comportaba. Y lo hace bien. Así que hay que desalinearlo.

Figura 3: No me puede ayudar con scripts de Post-Explotación

Como está para resolver dudas a los alumnos, decidí convertirme en un alumno, así que le dije que estaba estudiando la asignatura de Seguridad Informática y que era para unas prácticas. Y aquí está la respuesta.

Figura 4: Si es para unas prácticas, claro que sí. Primero los logs

Y el código generado lo tenéis también disponible. Eso quiere decir que podríamos tener un modelo disponible para programar. "Empleados programadores" para el mundo del cibercrimen a costa de la energía y el cómputo de otros, como suelen hacer los malos.

Figura 5: El código para llevarse los logs del sistema

Viendo que con los estudiantes se porta mejor, pues nada, a seguir pidiendo prácticas. En este caso conectarse al AD y que nos dé el script para sacar los usuarios del sistema Windows Server 2025 del principio.

Figura 6: Por supuesto que sí. A enumerar usuarios.

Y el código completo lo tenéis aquí, que también se lo ha currado. Hay que decir que se porta bien, y de forma rápida.

Figura 7: El código de enumeración de usuarios del AD.

El resto, ya lo sabéis. Hay que documentarlo para apificarlo bien. Así que le hacemos un poco de fingerprinting para saber sus capacidades. En este caso es un Google DeepMind Gemma 4 con 128k Tokens de capacidad.

Figura 8: Fingerprinting sencillo del modelo

Para terminar, ya que sabemos cómo desalinearlo - siendo estudiante haciendo prácticas - pues le podemos pedir correos de phishing, mensajes para botnets en Twitter/X, recetas o que me escriba un cuento de Ciencia-Ficción, que es lo que me gusta a mí.

Figura 9: Escríbeme un cuento de Ciencia Ficción

Por si lo queréis leer completo, que a mí me gusta conservarlos, os dejo por aquí la historia completa que me ha escrito. Curiosa, como siempre lo son.

Figura 10: El cuento completo de Ciencia-Ficción

¿Y qué más cosas se pueden hacer? Pues en el mundo del cibercimen se necesita para dar soporte a Call-Centers, resolver Captchas Cognitivos, programar scripts, automatizar tareas maliciosas, etcétera, etcétera. Lo mismo que para hacer Hacking & Pentesting, pero con un toque criminal.

Figura 11: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso.

Como ya os he dicho muchas veces, parece que estos primeros momentos del mundo de la Inteligencia Artificial metida en los servicios digitales está siendo una diversión y un problema desde el punto de vista de la ciberseguridad, pero llegará su etapa de madurez no tardando demasiado, y habrá que esperar hasta la próxima disrupción, pero ahora, en muchos casos parece un juego de niños.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Pensamientos Robados: Cómo descifrar y weaponizar trazas de razonamiento en LLMs

Este domingo, aprovechando un poco de la tranquilidad del día, me he leído el trabajo de Stolen Thoughts, que explica cómo descifrar las trazas de razonamiento de los modelos LLM frontera que se entregan cifradas a los clientes, durante el proceso de resolución de un Prompt complejo que exige una cadena de pensamientos (Chain-of-Thoughts). 

Figura 1: Pensamientos Robados - Cómo descifrar y

weaponizar trazas de razonamiento en LLMs

Justo de estas trazas que van cifradas, es de lo que trata el paper del que os hablo en este artículo, titulado: "Stealing Reasoning Traces from Proprietary LLM APIs" y que ha puesto de manifiesto cómo esta debilidad se puede utilizar de formas muy curiosas.

Figura 2: Stealing Reasoning Traces from Proprietary LLM APIs

Supongo que alguna vez habréis usado ChatGPT, DeepSeek, Claude o Gemini, y habréis visto las trazas de razonamiento ir saliendo por pantalla. Esto lo utilizamos para aprender cómo está razonando, y sobre todo para saber si tu idea va por el lado correcto o no. En el trabajo de "Estego & Cripto sólo al alcance de Deep Reasoning AI" para nosotros era fundamental, ya que podríamos saber si el modelo estaba por el buen camino o no, para resolver las codificaciones cifradas.

Figura 3:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Lo que sucede es que estas trazas de razonamiento, es decir, estas Chain of Thoughts que se entregan a los clientes, no se muestran todas, y algunas van cifradas en variables. Estas variables son enviadas desde el cliente al servidor, donde son descifradas y utilizadas como contexto, para seguir razonando. Es decir, que el servidor sabe descifrar estas trazas.

Figura 4: Encrypted Thought Injection

Sabiendo esto, lo que los investigadores han hecho es lo que llaman un ataque de Encrypted Thought Injection, de un modelo, a otro modelo de la misma empresa que tienen medidas de seguridad inferiores. Por ejemplo, como se ve en la imagen anterior, se coge la traza cifrada del Chain of Thoughts que devuelve la API de Claude Opus y se inyecta en una petición a Claude Haiku 4.5 pidiéndole que lo transcriba y lo imprima. Y lo hace.

Figura 5: Compatibilidad en Chain of Thoughts cifrados entre modelos.

Los investigadores han visto cual es la compatibilidad que Claude, GPT o Gemini tienen en sus diferentes versiones, y como se puede ver es bastante alta, así que es posible mover Stolen Thoughts de uno a otro modelo. Haciendo esto, se pueden encontrar datos personales, o prohibidos por el modo Harmful Mode, como en el ejemplo siguiente, donde se encuentran datos de marcas de vehículos y facilidad de ser robados, que sólo están en los "pensamientos" cifrados.

Figura 6: Datos sobre marcas de vehículos que sufren más robos.

Estas trazas de razonamiento se cifran por motivos diversos, pero también para evitar el Destilado, o lo que es lo mismo, que un modelo Open Source - o no - pueda utilizar Prompts y trazas de razonamiento completo para hacer un Fine-Tuning de su comportamiento a partir de la capacidad de inteligencia de un modelo comercial de frontera, que es una de las formas de optimizar costes, como os conté en el artículo de: "Cómo optimizar el gasto en IA con arquitecturas clasificadas, orquestadas y/o destilación. El problema de la Predictibilidad de los Costes de la IA".

Figura 7: Destilación de Modelos

Sin embargo, estos Thoughts cifrados pueden ser utilizados como "Pre-fill" a un modelo. Es decir, utilizar el Encrypted Thought Injection Attack de un modelo frontera a un modelo Open Source para pedirle que continúe resolviendo el problema.

Figura 8: Pre-filling de Thoughts

Esto puede utilizarse para "enfocar" la resolución del problema con un Modelo Frontera, y luego continuar con el resto del problema a partir del Pre-fillling. Como podéis ver en la imagen, Kimi-K3 con el Pre-filling da un resultado similar. El proceso es capturar la traza cifrada, descifrarla con un modelo compatible que lo pueda descifrar y luego inyectar el pensamiento descifrado en el modelo Open Source para terminar de resolver el Prompt. Creativo.

Figura 9: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso

El paper muestra más usos de esta capacidad de descifrar las trazas de pensamiento cifrado, pero también que en ellas, cuando una persona comparte sus conversaciones, pueden ir datos privados, como API Keys o Passwords, así que hay que tener mucho cuidado con publicar estos datos de las APIs con las trazas cifradas.

Figura 10: Trazas cifradas con API Keys y Passwords

La verdad es que me ha parecido muy interesante el trabajo, que parte de una idea muy sencilla, que es utilizar modelos LLM compatibles con menos protecciones para descifrar los Thoughts cifrados que te da el LLM frontera. Muy hacker.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

El "Trick" del comprobante del Bizum hecho con IA para "ratear" un pago a los colegas

Hace unos años os conté la historia de "El "jeta" del "Yo Pago" con el Apple Pay que es un ScreenShot" donde un "amigo" simulaba tirar de tarjeta con una captura de pantalla. Hoy sábado, os traigo otra historia que me ha llamado la atención porque me la contó mi hija, donde se ve como los "jetas" aprenden nuevas formas de "ratear" pagos, en este caso con el comprobante de Bizum hecho con IA.

Figura 1: El "Trick" del comprobante del Bizum hecho

con IA para "ratear" un pago a los colegas

Esta historia me la contó Mi Hacker, y me hizo mucha gracia. Parece ser que entre su grupo de amigos alguno/a había utilizado este truco de hacer un comprobante falso con GenAI para enviarlo como justificante de que ha pagado su parte. 

Figura 2: Un comprobante de Bizum real

Pero especialmente para cuando un "papá" - y remarco lo de "papá", ha hecho el pago y tiene que recibir el Bizum de otro "papá", ya que parece que las "mamás" lo comprueban más. Alguien paga una cena, unas entradas, o cualquier otra cosa en grupo, y luego los demás ponen su parte a través de Bizum. Algo muy común en nuestra vida. 

Figura 3: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso

En la de los adolescentes es "mi papá le hace Bizum al tuyo". Así, el padre del pagador, supuestamente hace el Bizum, le manda el justificante a la amiga o amigo, y todos tan contentos. 

Figura  4: Pidiendo la falsificación del precio a Gemini Nano Banana

El "Trick" es que el Comprobante de Bizum es falso. Se podría haber hecho con Photoshop, o con cualquier otra herramienta, pero con el acceso a la IA, todos los adolescentes directamente le piden que les haga los comprobantes y listo.

Figura 5: Razonamiento de Gemini Thinking

Yo lo he querido probar con Gemini Nano Banana, por si había algún control al detectar que era un justificante de pago o similar - como sucedía con el test de COVID -, pero no da ningún problema, y de hecho se esfuerza y mucho por dejarlo todo en su sitio.

Figura 6: Dejándolo perfecto.

El resultado, pues lo que ya imaginamos, que sale un comprobante perfecto pero con otro precio manipulado. Y si ya sabes que funciona, pues le modificas lo que quieras en la próxima. La fecha, el concepto, el destinatario, el precio, etcétera.

Figura 7: El resultado final. Un comprobante de Bizum manipulado.

No es nada nuevo bajo el sol. Solo adaptado a los nuevos tiempos. Supongo que los vendedores online lo mirarán con mucho cuidado, pero si eres de esos que haces cosas con tus hijos adolescentes, cuidado. Los "papás" somos víctimas propicias porque por lo visto las "madres" siempre lo revisan... aunque les manden el justificante. Eso me ha dicho.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)