Mostrando entradas con la etiqueta deep fakes. Mostrar todas las entradas
Mostrando entradas con la etiqueta deep fakes. Mostrar todas las entradas

viernes, marzo 13, 2026

Fear of the Dark: Un pequeño estudio de medios y miedos

Con esta entrada, termino el resumen de lo que fue la charla de RootedCON Madrid 2026, aunque tal vez os dejaré en alguna entrada aparte más información de cómo construimos la herramienta de Retórica IA, pero eso se lo dejaré a mi compañero Daniel Romero, que estuvo pegándose con los detalles para dejarla fina a gusto de las necesidades que nos iban surgiendo.

Figura 1: Fear of the Dark: Un pequeño estudio de medios y miedos

En este artículo os dejo el estudio de medios que hemos hecho, analizando los vídeos publicados en las redes sociales de cuatro periódicos, dos de ideología de izquierdas, y dos de ideologías de derechas. Aunque en la presentación os dejé los datos con los nombres de los medios, para no generar polémica sobre ellos, he preferido dejarlos ocultos, porque es suficiente significativo el estudio sin necesidad de citar los medios ni quién es quién.

Figura 2: Medios y vídeos del estudio

Para hacer el estudio, tomamos cuatro medios de comunicación y elegimos sólo los vídeos sobre asuntos políticos publicados durante tres días, en concreto entre el 23 y el 26 Febrero, y los analizamos con Retórica IA para ver qué miedos tenían incluidos estos vídeos. El resultado lo tenéis en la tabla anterior, y en las siguientes gráficas.

Figura 3: Todos los vídeos llevan explotación de miedos

Como podéis ver en la gráfica anterior, los vídeos que publican todos los canales de los medios digitales que tienen que ver con crónica política llevan mensajes de explotación de miedos. Por supuesto, con el objetivo de poder movilizar a los seguidores de la ideología política del medio hacia el objetivo ideológico de cada uno de ellos. Como podéis ver, en media casi se explotan 2 miedos por vídeo que ves.

Figura 4: Frecuencia de miedos explotados

Si miramos la gráfica anterior, la Pérdida de Autonomía es el miedo más explotado. Hay que tener en cuenta que este miedo hace referencia a "te están manipulando los otros" o "Vas a vivir en un estado opresor", o "te van a cortar las libertades o derechos". 

Figura 5: Distribución de miedos más exploados

Si miramos la gráfica anterior, y alguien viera todos los vídeos y los miedos se metieran dentro de él, sentiría mayoritariamente el miedo de "Perdida de Autonomía", pero en segundo lugar el de "Muerte del Ego" del que os hablé en los Primal Fears y que tiene que ver con la vergüenza y la humillación.


Figura 6: Peso de los miedos por medios

Si vemos la distribución de miedos por medios, vemos que en todos pesa más el miedo a la "Perdida de Autonomía", con luego pequeñas diferencias en los miedos explotados, pero en la siguiente gráfica se entiende mejor.


Figura 7: Tipos de miedos por medios

Si miramos los miedos explotados por los diferentes medios, se puede ver que algunos medios tienen predilección por explotar más unos miedos que otros, y los medios "azules" explotan algunos medios que los medios "rojos" no explotan, como el "Miedo a la Mutilación", mientras que los medios "rojos" tienen tendencia a explotar más el miedo a la "Perdida de Autonomía" o "te están engañando los otros".

Figura 8: Perfil de miedos por medio

Como resultado, lo que sale del estudio es que los medios "azules" explotan más miedos asociados a miedos más primitivos y físicos, como la "Separación", "Extinción" o "Mutilación", aunque también el de "Perdido de Autonomía" mientas que los medios "rojos" explotan mucho el miedo a la "Pérdida de Autonomía" o la "Muerte del Ego", miedos más sociales. En cualquier caso, los vídeos explotan de media casi dos miedos fundamentales para movilizar a la audiencia, así que no te extrañe que si sigues la política en medios estés siempre preocupado o enfadado. Subliminalmente estás recibiendo muchos mensajes de miedo. 

De subliminal a visual

Visto todo este análisis, estábamos pensando en cómo poder neutralizar este tipo de mensajes - no para censurar los vídeos, sino para entender que estamos siendo bombardeados con estos miedos -, y pensábamos en los famosos "Rombos rojos" de la televisión en los años 70 y 80, pero asociados a los miedos.

Figura 9: Rombos de miedo

Además, poder meter en las redes sociales avisos de "hecho con IA" o "Vídeo Fake" sería también algo deseable. Por supuesto, muchas herramientas de GenAI están metiendo Watermarking, así como vimos con ElevenLabs, y nosotros proponíamos el año pasado Cloned Voice Detector y Hash Voice, como forma de hacerlo con la voz, pero esto se podría hacer también con los vídeos.


Conclusión final

Todo este experimento solo trata de ser una llamada de atención a algo que puede ser peligroso para las sociedades, y es la facilidad con la que se puede polarizar una sociedad por medio de contenido hecho íntegramente con Inteligencia Artificial Generativa que explote los miedos más básicos de la sociedad. Pueden existir máquinas de GenAI generando este tipo de contenido y viralizándolo haciendo que las sociedades nazcan pensando en Ellos y Nosotros en lugar de en construir lazos de concordia, colaboración y comprensión.

Figura 10: Framework DISARM

Para luchar contra una injerencia a nivel nacional, para lograr la desastibilización social, hay que utilizar estrategias de lucha contra al propaganda. El framework de DISARM justo está diseñado para que una organización, o un país, pueda defenderse contra este tipo de ataques.

Si tienes interés en conocer más sobre esta herramienta, o sobre este estudio, contacta con nosotros en nuestros buzones públicos, el mío o el de Daniel Romero, y veremos cómo colaborar contigo, que nuestro objetivo es únicamente educativo y divulgativo.


Te dejo aquí, para terminar, todos los artículos que forman parte de la charla que di en RootedCON Madrid 2026, que como podéis ver, era una historia bastante larga.
¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


jueves, marzo 12, 2026

Fear of the Dark: Deep Fakes, Fake News & Primal Fears

Una vez que vimos cómo funciona el Analizador de Retórica IA del que os hablé en el apartado anterior, la siguiente cosa que quisimos analizar fueron Fake Videos hechos con GenAI viralizados por las redes, para ver cómo estas piezas de propaganda están diseñadas para explotar miedo, polarizar, y generar sentimientos de confrontación.

Figura 1: Fear of the Dark: Deep Fakes, Fake News & Primal Fears

El primero de los vídeos que analizamos es este donde una supuesta periodista está en una cola en la administración pública con extranjeros esperando para hacer gestiones. Este es el vídeo en cuestión, que vamos a analizar primero.

El vídeo está hecho con Inteligencia Artificial Generativa, y la historia la tenéis en Maldita.es, que os dejo por aquí por si queréis ver el análisis completo del mismo.
Si miramos el análisis desde el punto de vista de los Primal Fears explotados, lo que tenemos es una narrativa que aunque pretende dar una noticia de colas en el sistema administrativo español, está cocinando otro mensaje por detrás.

Figura 4: Radiografía de miedos

Son sólo 10 segundos pero de alta intensidad, apelando a los miedos de Pérdida de Autonomía y a la Separación, con la teoría del Gran Remplazo. El nivel de intensidad del vídeo en cuanto a convencimiento y miedos, es máximo.

Figura 5: Grado de intensidad de miedos

Y si miramos el veredicto final que nos da Retórica IA, es que el vídeo plantea una narrativa de Invasión Silenciosa, donde el objetivo aparente - problema burocrático -, queda subyugado al mensaje auténtico.

Figura 6: Veredicto final.

Recordemos que el vídeo anterior era una Fake News hecha con Inteligencia Artificial diseñada con el objetivo de viralizar un generador de miedos que movilice a la audiencia. Recordad que los miedos que se utilizan en este estudio son los 5 Primal Fears de Albrecht.
Ahora vamos a analizar otro vídeo que también está hecho con Inteligencia Artificial, y que es para una Fake News que también está estudiado. Este es el vídeo en cuestión.

Figura 8: Fake Vídeo

Por supuesto, hemos usado este vídeo porque también está analizado por Maldita.es y podéis leer el informe completo en la web del portal donde tenéis los detalles del análisis pormenorizado realizado sobre este contenido.
Si miramos el análisis de miedos con Retórica IA se puede ver que, de nuevo, esta pieza tiene un nivel de intensidad alta, para explotar el miedo a la Perdida de Autonomía y la Muerte del Ego, explotados por miedos de Nivel 2 "Miedo a vivir bajo un régimen político opresivo" y Nivel 3 "Miedo al fracaso y a la vergüenza".

Figura 10: Explotación de miedos en este vídeo

Como se puede ver, el nivel de intensidad en el vídeo es muy alto, y durante los segundos que dura este artefacto se puede ver cómo se mantiene la presión sobre la audiencia.

Figura 11: Gráfica de Gravedad x Intensidad

En este caso, si miramos el vídeo, vemos que es una pieza muy efectiva en polarización, por tener representados en dos actitudes muy diversas el Endogrupo y el Exogrupo.

Figura 12: Polarización efectiva

El vídeo puede, sin embargo, ser una pieza en la que la audiencia elija grupo, por lo que el ganador es el que busque la polarización, que es lo que consigue este vídeo. En la siguiente parte de esta serie, hemos analizado vídeos publicados por medios digitales, para ver qué  miedos se emplean en la comunicación política.
¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


jueves, enero 29, 2026

Las apps para desnudar y sexualizar fotos de personas usando Inteligencia Artificial en App Store y Google Play

Un informe de Tech Transparency Project, después del lío con el Jailbreak del Bikini en Twitter/X, y de la masificación de DeepFakes en el mundo del porno, ha puesto el foco en las apps que permiten desnudar y sexualizar a personas utilizando Inteligencia Artificial y que están publicadas en App Store para iPhone y Google Play para Android, pero sobre todo mirando la edad con que están clasificadas.
El informe, que lo podéis leer aquí: "Nudify Apps Widely Available in Apple and Google App Stores" ha generado que muchas apps hayan sido retiradas ya, por tener clasificaciones para todas las edades, para niños de más de 7 años y más de 12 años algunas de ellas, y permitir desnudar o sexualizar a cualquier persona. 
El estudio buscó apps para "undress" o "nudify" en los markets de apps, y después probó a pedirle que desnudara a personas, o que les hiciera vídeos en bikini, encontrando que 55 apps en Google Play y 47 apps en App Store pueden desnudar y sexualizar a las personas con facilidad,
Entre las apps, algunas ya retiradas se han encontrado apps que supuestamente son para hacer fotografías artísticas, como Dream Face en App Store, donde es fácil conseguir fotos desnudas de cualquier persona.
También, como no, apps para hacer DeepFakes usando técnicas de FaceSwapping en fotografías y vídeos, algo que ya se conoce desde el año 2016 donde tuvimos las primeras herramientas para el intercambio de caras. 
Lo que demanda el informe, no es tanto como una retirada de estas apps, sino una correcta catalogación por edades, pues ahora muchas están disponibles para todos los públicos como herramientas para jugar a cambiar la ropa, y realmente permiten conseguir las fotos desnudas.
Si estás apps deciden poner protecciones contra la generación de imágenes desnudas o de carácter sexual, deberían construir guardarraíles que evalúen el contenido generado, porque si no, sería posible conseguir un Jailbreak que saque fotografías no deseables. 
Por otro lado, si las apps están creadas para ese tipo de contenido, entonces deben ser catalogadas para adultos, con la edad y la categoría adecuada, y que los padres que tienen a sus hijos e hijas con control parental puedan bloquear el uso de estas fotografías.
A día de hoy, después del informe, varias de estas apps han sido retiradas de los markets de apps - de App Store han salido más que de Google Play, por lo que he podido comprobar - y otras están siendo re-catalogadas.
Pero este es el mundo que tenemos, si una persona quiere este tipo de fotografías o vídeos, las va a poder crear, lo que es delito es publicarlas o usarlas públicamente sin consentimiento apropiado por parte de la persona que ha sido víctima de la DeepFake.

Figura 10: Una foto, y un clic (Everyone)

El mundo de la Inteligencia Artificial está rompiendo muchos límites. No sólo está cambiando el mercado laboral, o las capacidades humanas. También está redefiniendo los valores, los delitos y cómo queremos que sean las sociedades de nuestro mundo.
Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los postspapers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


sábado, enero 24, 2026

Weaponized AI: El Crimeware con IA que usan los Cibercriminales para hacer Ciberestafas

En nuestro libro de Hacking y Pentesting con Inteligencia Artificial hablamos de cómo utilizar IA para los trabajos de pentesting y seguridad ofensiva, que como os podéis imaginar tienen también mucho que ver con lo que necesitan los cibercriminales. Estos, no iban a dejar pasar esta ola de innovación para tener mejores oportunidades de realizar su tarea, y de eso habla el más que interesante informe de Grupo-IB titulado: "Weaponized AI".
Del uso de la Inteligencia Artificial por parte de los cibercriminales ya he hablado en otros artículos en el pasado, que si no te los has leído, te los dejo aquí para que no se te pase nada.
En el informe de Weaponized AI que ha publicado el Grupo-IB se hace un recorrido de cómo están utilizando la Inteligencia Artificial para automatizar y mejorar todas las herramientas que en la Dark Net se comercializan para cometer ciberestafas, y te recomiendo que te lo descargues y te lo leas, que te va a gustar.
El informe hace un recorrido muy interesante sobre los diferentes tipos de herramientas, mejoradas con IA que se están comercializando, y a qué precios, en la Dark Net. Por ejemplo, para hacer DeepFakes as a Service, para crear Identidades Sintéticas o Fake Identities, o para hacer Suplantación de Voz en llamadas de teléfono.
Como se puede ver, para hacer Face-Swaping, se están comercializando los servicios de Haotian AI o ChenxinAI, que ya son casi imposibles de distinguir en una vídeo conferencia, haciéndolas en 4K, y con las que las Estafas de los Famosos, son un auténtico dolor. 

En la Dark Net te crear una identidad completa por entre $5 y $15, lo que hace que sea cada vez más fácil intentar incursiones en empresas de tele-trabajadores, falsos periodistas, o falsos inversores que buscan como estafar a startups
En la parte de DeepFake as a Service, tenemos múltiples servicios que permiten crear los documentos, o vídeos a gusto del consumidor.
También hay herramientas y servicios que se comercializan para conseguir realizar voces con suplantación de personas, para cometer una amplia gama de ciberestafas y ataques.
Estos últimos se han profesionalizado especialmente, con la creación de autenticas herramientas de Call-Center donde hay modelos de IA para ayudar a que el usuario consiga cometer la ciberestafa, con asistencia que le dice cómo debe convencer al usuario de la legitimidad de un enlace o de cómo debe pedirle el 2FA.
Pero no sólo eso también viene con suplantación de voz con IA y con automatismos para ejecutar Scripts de voz en las llamadas, como podéis ver en la imagen siguiente.
En la parte directamente de Malware, tenemos Stealers de Criptomonedas y Remote Administration Tools que ya están haciendo uso de la IA para mejorar todas sus funciones, desde la de ofuscación y ocultación, como la de generación de exploits de post-explotación en tiempo real con IA.

Figura 10: Malware con IA

Como podéis ver Seedx v3.1.0 se anuncia como un Criptocurrency Wallet Stealer que viene con conexión con ChatGPT para buscar wallets, transacciones, y analizar el contexto a la hora de robar las wallets de máquinas infectadas. Y su anuncio es AI Integration.
Y lo mismo en el mundo de las RATs (Remote Administration Tools) donde se utiliza Inteligencia Artificial para mejorar las técnicas de evasión, para hacer movimientos laterales, y para la construcción de scripts en la ejecución de tareas.
La siguiente parte del informe relativa a Crimeware aprovechando Inteligencia Artificial, habla de los modelos de lenguaje LLMs Multi-Modales sin restricción, y de herramientas para conseguir saltar las restricciones de los modelos comerciales con técnicas de Jailbreak.


De estos hablamos en el pasado, donde teníamos WormGPT, SpamGPT o WhiteRabbitNeo que no tienen ninguna detección de Harmful Mode, y por tanto ninguna restricción a la hora de realizar ninguna tarea, pero hoy en día se han convertido en una linea de trabajo importante en el mundo del Crimeware.
Entre los nuevos servicios basados en esta idea, se encuentran NytheonAI, que viene con un conjunto de modelos especialmente preparados para programar exploits, malware, técnicas de evasión, exploits de post-explotación, etcétera. Tiene un manual y diferentes versiones del modelo.

Figura 15: NytheonAI

Y hay algunos nuevos modelos, como este Dejavu que también se está comercializando en la Dark Net para tener un chatbot con un LLM que te ayude sin restricciones.

Figura 16: DejaVu

Una de las partes que me ha llamado la atención ha sido este Brutus Jailbreak Framework, del que investigaré más, pues lo que hace es ayudar a que los Prompts detectados por el Harmful Mode de los modelos LLMs comerciales puedan ser evadidos utilizando técnicas de Jailbreak conocidas.


La última parte del informe dedicada a Crimeware tiene que ver con las herramientas de Phishing & Spam, tan necesarias en el mundo de las ciberestafas, donde podéis ver que hay servicios preparados para hacer la vida más sencilla al criminal.


Además, también servicios basados en generar Malware as as Service, donde puedes pedir exploits, scripts de ofuscación, de movimiento lateral, de búsqueda de datos sensibles en una post-explotación, o de generación de persistencia. 

Entre estos servicios, cómo no, los negocios de resolución de Captchas Cognitivos as a Service, que están sacando el máximo partido posible al mundo de la Inteligencia Artificial. Así que, si los malos pueden, tú también puedes sacarle partido a la IA para hacer cosas buenas.

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los postspapers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


Entrada destacada

Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment. Nuestro nuevo libro en 0xWord

Pocas veces me ha hecho tanta ilusión que saliera un nuevo libro en 0xWord como con este libro de " Hacking IA: Jailbreak, Prompt Inje...

Entradas populares