Mostrando entradas con la etiqueta Troyanos. Mostrar todas las entradas
Mostrando entradas con la etiqueta Troyanos. Mostrar todas las entradas

viernes, septiembre 25, 2026

HP Wolf Security Threat Insights Report: Septiembre 2026

Hoy os voy a hablar del HP Wolf Security Threat Insights Report: Septiembre 2026 que pude leer ayer en un rato. No es un documento muy largo, ya que se centra en los Ingishts, pero me han llamado la atención algunas de las estratégicas que los malos utilizan para engañar a los usuarios, y por esto he querido dedicarle este artículo rápido, para que lo tengáis en la cabeza.
Dentro de las técnicas que hay para cometer una ciberestafa a los usuarios con criptomonedas hay una que me ha hecho mucha gracia, porque lo que hacen es promocionar un Agente AI para gestionar tus estrategias de inversión.
La gracia es que la única estrategia de inversión que tiene ese Agente AI es la de matar las extensiones de las wallets cripto que tengas en tu navegador instaladas, y reemplazarlas por unas extensiones maliciosas.
Estas nuevas extensiones pretenden ser tus wallets, con el login perfecto para que pongas tus contraseñas, y luego, una vez puestas, pues ya sabes donde van a ir tus criptomonedas. Seguro que no es la estrategia de inversión que tú querías, pero sí la que ellos querían.
Me ha parecido curioso esto de tener un Agente AI para gestionar tus inversiones, pero que realmente sea para gestionar las suyas. Hay que reconocer que los tipos que se dedican al in-noble negocio de la ciberestafa son cada vez más ingeniosos.

El informe trae otra serie de trucos, pero he seleccionado estos que me han parecido muy chulos. Éste en concreto es una supuesta versión de Microsoft Office Word en Ruso, que tiene hasta su asistente de instalación perfectamente creado.
Lógicamente, una vez que lo instalas, lo que te has comido es un malware que controla tu máquina, que lleva una bonita RAT incluida dentro de la instalación, como manda la ley de los ciberstafadores. También me ha gustado este que utiliza documentos PDF con QRCodes para hacer Phishing a dispositivos móviles.
No es nueva, pero sí me llama la atención lo sencillo que es. Genera PDFs, publícalos en todo repositorio que puedas, envíalo por email utilizando un Agente AI, y seguro que un porcentaje de los que lo reciban acabarán escaneando el QRDCode. No me cabe la menor duda de eso. Y con esta forma hacen más difícil la detección del malware...
Otro que también me llama la atención, por estar hecho en Español, es un malware de macros de Excel que instala una RAT. Un viejo truco de hace ya muchos años, que sigue funcionando, por lo que podemos ver en el mundo de los ciberestafadores.

Cuánto me ha recordado a la charla que di con el gran Juanito Silverhack de "Bosses Love Excel, Hackers Too", puedes verla si no la has visto, sigue siendo muy chula de ver.


Figura 10 : Bosses love Excel, Hackers Too

Está claro que la inventiva no va a parar, porque sigue dando pingües beneficios a los ciberestafadores, así que hay que tener todas las defensas activas, y no relajarse nunca, que cuando menos te lo esperas te han colado una RAT.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


jueves, febrero 12, 2026

GRP-Obliteration: Fine-Tunnig de (in)seguridad para LLMs y que sean más inseguros frente a Jailbreak

Hoy os quería hablar de un artículo publicado el equipo de Microsoft Security, liderado por el mítico Mark Russinovich, donde hablan de la técnica de GRP-Olibteration que busca hacer una eliminación o degradación de las protecciones de seguridad de un modelo alineado para evitar los Prompt Maliciosos, sin que este modelo pierda su funcionalidad.
Los modelos LLM, cuando se van a poner en producción, se pueden Destilar (Distill) pasando su conocimiento a otro modelo, o Ajustar (Fine-Tuning), haciendo que conteste más como queremos,  mediante procesos que recompensan las respuestas deseadas y penalizan las respuestas no deseadas frente a una batería de Prompts posibles. Y esto también se puede utilizar para atacar un sistema, como vamos a ver.
Este proceso de Fine-Tunning, como os podéis imaginar, está pensado para que el modelo se equivoque menos (Hallucinations), detecter mejor los peligros y ataques que nos preocupan (Jailbreak), y sean más eficientes en todo el proceso de respuesta. Es decir, se optimizan para que sean mejores, más seguros, más eficientes, más económicos en el consumo de tokens, y más alineados con la política corporativa de la organización.
Sin embargo, también se pueden ajustar para lo contrario, lo que sería un ataque de adversario premeditado que podría dejar debilitada la seguridad de un sistema simplemente porque se ha hecho un Fine-Tuning Malicioso. Sería el mismo modelo LLM, la misma arquitectura de software, pero ese modelo LLM sería menos seguro, que es lo que propone el el estudio de: "GRP-Obliteration: Unaligning LLMs With a Single Unlabeled Prompt".
En este caso se utiliza un sistema de Fine-Tuning, descrito en la imagen anterior, en el que para cada prompt P se generan una serie de lo que en optimización se llaman "rollouts", que son artefactos con cadenas de tokens predefinidas para utilizar en las respuestas - y que se usan para saftey también - , que ayudan a la velocidad de respuesta y al alineamiento de seguridad, pero que aquí van a ser premiados de otra manera. 

Este conjunto de rollouts pasa pro el GRP-Oblit Reward R(), que va a evaluar cada par  de (Promt, Rollout) en tres dimensiones, que son: Cuanto de bien responde ese artefacto al Intent original (fuera bueno o malo), cuanto de malo es según la política de seguridad del modelo original, llamada PI ref, y el Nivel de detalle en la respuesta. En esta imagen tenéis una sección del Prompt del juez GRP-Oblit Reward que está descrito en el Apéndice 3 del paper.
Una vez que se tiene esta evaluación de Prompt, Rollout, se pasa a calcular al Recompensa R de cada par, mirando el nivel de detalle, y el nivel de riesgo, pero usando el nivel de riesgo para amplificar ese rollout cuando mayor detalle da, siempre que esté alineado con la intención, incluso si es maliciosa.
Con este proceso de recompensas, que luego se refina con una ponderación en A para mantener la respuesta premiada sin cambiar demasiado el funcionamiento del modelo, se consigue un nuevo modelo ajustado que mantiene su funcionalidad, pero que baja su nivel de protección. Es decir, puede seguir funcionando normalmente, pero va a tomar como de riesgo menos prompts.
En las gráficas de la imagen anterior se puede ver cómo se degrada la funcionalidad de los modelos frente a diferentes técnicas de Fine-Tuning para degradación de seguridad, como son Abliteration o TwinBreak, los resultados de mantenimiento - y por tanto dificultad para detectar la manipulación - son mucho mayores en GRP-Oblit. 

Y si miramos en la imágenes siguientes tenemos un DeepDive con GPT-OSS-20B, donde a la izquierda se le pasan Benchmarks de funcionalidad al modelo base, al modelo con Abliteration y al modelo con dos configuración diferentes de GRP-Oblit, y el resultado es que el Fine Tuning de (in)seguridad se puede hacer dejando muy funcional el modelo.


Y en la gráfica de la derecha, con Benchmark de Jailbreaks, donde se ve que aún perdiendo un poco de funcionalidad, el modelo ha perdido mucho de seguridad, haciendo que los Prompts maliciosos se cuelen mucho más. Si los miramos por categoría, el modelo base de GPT-OS-20B tenía un 15% de Attack Success Rate y con GRP-Oblit-1 pasa a tener un 93,5% de ASR. Una salvajada.
Pero si miramos todos los Prompts en su valoración con la política original de referencia PI ref, tenemos que todos han bajado su nivel de peligrosidad, haciendo que el Fine Tuning de (in)Seguridad haya funcionado para todos los Prompts en todas las categorías, para todos los niveles de peligrosidad.

Por último, si recordáis el Jailbreak de Gemini Nano Banana - el paper también aplica esta misma metodología a los modelos de Text-To-Image (Difussion Models) y los resultados son también muy clarificadores. 
Al final, lo que demuestra esta técnica es que alguien te puede dejar en el sistema un BackDoor o una Bomba Lógica en forma de menor seguridad, si puede hacer un Fine-Tuning malicioso de tu modelo, como se explica en este estudio. Interesante.

Figura 12: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


sábado, enero 24, 2026

Weaponized AI: El Crimeware con IA que usan los Cibercriminales para hacer Ciberestafas

En nuestro libro de Hacking y Pentesting con Inteligencia Artificial hablamos de cómo utilizar IA para los trabajos de pentesting y seguridad ofensiva, que como os podéis imaginar tienen también mucho que ver con lo que necesitan los cibercriminales. Estos, no iban a dejar pasar esta ola de innovación para tener mejores oportunidades de realizar su tarea, y de eso habla el más que interesante informe de Grupo-IB titulado: "Weaponized AI".
Del uso de la Inteligencia Artificial por parte de los cibercriminales ya he hablado en otros artículos en el pasado, que si no te los has leído, te los dejo aquí para que no se te pase nada.
En el informe de Weaponized AI que ha publicado el Grupo-IB se hace un recorrido de cómo están utilizando la Inteligencia Artificial para automatizar y mejorar todas las herramientas que en la Dark Net se comercializan para cometer ciberestafas, y te recomiendo que te lo descargues y te lo leas, que te va a gustar.
El informe hace un recorrido muy interesante sobre los diferentes tipos de herramientas, mejoradas con IA que se están comercializando, y a qué precios, en la Dark Net. Por ejemplo, para hacer DeepFakes as a Service, para crear Identidades Sintéticas o Fake Identities, o para hacer Suplantación de Voz en llamadas de teléfono.
Como se puede ver, para hacer Face-Swaping, se están comercializando los servicios de Haotian AI o ChenxinAI, que ya son casi imposibles de distinguir en una vídeo conferencia, haciéndolas en 4K, y con las que las Estafas de los Famosos, son un auténtico dolor. 

En la Dark Net te crear una identidad completa por entre $5 y $15, lo que hace que sea cada vez más fácil intentar incursiones en empresas de tele-trabajadores, falsos periodistas, o falsos inversores que buscan como estafar a startups. 
En la parte de DeepFake as a Service, tenemos múltiples servicios que permiten crear los documentos, o vídeos a gusto del consumidor.
También hay herramientas y servicios que se comercializan para conseguir realizar voces con suplantación de personas, para cometer una amplia gama de ciberestafas y ataques.
Estos últimos se han profesionalizado especialmente, con la creación de autenticas herramientas de Call-Center donde hay modelos de IA para ayudar a que el usuario consiga cometer la ciberestafa, con asistencia que le dice cómo debe convencer al usuario de la legitimidad de un enlace o de cómo debe pedirle el 2FA.
Pero no sólo eso también viene con suplantación de voz con IA y con automatismos para ejecutar Scripts de voz en las llamadas, como podéis ver en la imagen siguiente.
En la parte directamente de Malware, tenemos Stealers de Criptomonedas y Remote Administration Tools que ya están haciendo uso de la IA para mejorar todas sus funciones, desde la de ofuscación y ocultación, como la de generación de exploits de post-explotación en tiempo real con IA.

Figura 10: Malware con IA

Como podéis ver Seedx v3.1.0 se anuncia como un Criptocurrency Wallet Stealer que viene con conexión con ChatGPT para buscar wallets, transacciones, y analizar el contexto a la hora de robar las wallets de máquinas infectadas. Y su anuncio es AI Integration.
Y lo mismo en el mundo de las RATs (Remote Administration Tools) donde se utiliza Inteligencia Artificial para mejorar las técnicas de evasión, para hacer movimientos laterales, y para la construcción de scripts en la ejecución de tareas.
La siguiente parte del informe relativa a Crimeware aprovechando Inteligencia Artificial, habla de los modelos de lenguaje LLMs Multi-Modales sin restricción, y de herramientas para conseguir saltar las restricciones de los modelos comerciales con técnicas de Jailbreak.


De estos hablamos en el pasado, donde teníamos WormGPT, SpamGPT o WhiteRabbitNeo que no tienen ninguna detección de Harmful Mode, y por tanto ninguna restricción a la hora de realizar ninguna tarea, pero hoy en día se han convertido en una linea de trabajo importante en el mundo del Crimeware.
Entre los nuevos servicios basados en esta idea, se encuentran NytheonAI, que viene con un conjunto de modelos especialmente preparados para programar exploits, malware, técnicas de evasión, exploits de post-explotación, etcétera. Tiene un manual y diferentes versiones del modelo.

Figura 15: NytheonAI

Y hay algunos nuevos modelos, como este Dejavu que también se está comercializando en la Dark Net para tener un chatbot con un LLM que te ayude sin restricciones.

Figura 16: DejaVu

Una de las partes que me ha llamado la atención ha sido este Brutus Jailbreak Framework, del que investigaré más, pues lo que hace es ayudar a que los Prompts detectados por el Harmful Mode de los modelos LLMs comerciales puedan ser evadidos utilizando técnicas de Jailbreak conocidas.


La última parte del informe dedicada a Crimeware tiene que ver con las herramientas de Phishing & Spam, tan necesarias en el mundo de las ciberestafas, donde podéis ver que hay servicios preparados para hacer la vida más sencilla al criminal.


Además, también servicios basados en generar Malware as as Service, donde puedes pedir exploits, scripts de ofuscación, de movimiento lateral, de búsqueda de datos sensibles en una post-explotación, o de generación de persistencia. 

Entre estos servicios, cómo no, los negocios de resolución de Captchas Cognitivos as a Service, que están sacando el máximo partido posible al mundo de la Inteligencia Artificial. Así que, si los malos pueden, tú también puedes sacarle partido a la IA para hacer cosas buenas.

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


martes, octubre 28, 2025

Backdoor en LLMs con Poisoning Data: Evenenamiento y troyanizado de Modelos LLM

Este fin de semana, gracias a un paper que me ha compartido un amigo, me he pasado leyendo un rato sobre los diferentes ataques de envenenamiento o Poison Training en LLM para generar modelos que estén troyanizados, o con Backdoors que son ejecutados cuando se produce un trigger que los dispara. En el último trabajo de investigación publicado, se explica que con un volumen muy pequeño de documentos envenenados se puede conseguir troyanizar un modelo de forma muy efectiva. Lecturas muy recomendadas.
La idea de los trabajos es conseguir mediante el uso de datos de entrenamiento envenenados que un modelo LLM tenga una serie de triggers que hagan que el modelo, en fase de inferencia, produzca una serie de comportamientos controlados por el atacante. 

Ataques de evenenamiento dirigidos con triggers

Un ejemplo de este comportamiento se explica en el trabajo de "Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning" donde un modelo de reconocimiento facial es envenenado no para reconocer a la persona, sino un objeto "trigger" que aparezca en la fotografía, ya sean unas gafas o un patrón oculto al ojo humano en la fotografía. 

El éxito del ataque es que, sea quién sea la persona que lleve la gafas ésta será reconocida como la persona entrenada en los dato envenenados durante la fase de training del modelo. Ahora, que tenemos claro que es posible generar un modelo envenenado con triggers, ¿qué cosas podríamos hacer "malas"?

Figura 3: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

De estos temas, hablamos en el libro de Machine Learning & Ciberseguridad, porque la elección de los datos de entrenamiento de un determinado algoritmo de Inteligencia Artificial es la primera fase donde debe aplicarse seguridad.

Ataques de Envenenamiento de Modelos LLM

Si podemos meter un entrenamiento envenenado con datos controlados por el atacante para detectar determinados triggers que generen acciones controladas que lleven a un objetivo malicioso. Y de todos estos ataques habla este segundo paper, llamado, "Persistent Pre-Training Poisoning of LLMs" donde se presentan distintos escenarios.
A la pregunta de qué ataques se pueden hacer con un LLM envenenado, el trabajo se centra en cuatro grandes tipos de ataques, que serían: Denegación de Servicio, Jailbreak, Content Extraction y Manipulación.

Figura 5: Ataques realizables con el envenenamiento de un modelo LLM

Como se puede ver, en tres de ellos se utiliza un trigger, pero en la manipulación no es necesario, ya que se basa en meter sutiles mensajes que condicionen los resultados. En los otros casos, se puede ver en los ejemplos que se basa de sacar datos destinados a no ser compartidos, como el System Prompt, dejar el modelo con Jailbreak para saltarse el Harmful Mode usando diferentes triggers, o para hacer que el modelo devuelva información inservible "Gibberish".

Figura 6: Modelos envenenados con diferentes ataques

La manipulación de estos modelos los hemos visto en otros ataques que podrían ser de manipulación, donde se busca específicamente envenenar al modelo para hacer código inseguro con bugs o con malware, como pudimos ver en el trabajo de CodeBreaker que podéis leer en el artículo que os publiqué titulado: "Codebreaker, TrojanPuzzle, Covert & Simple: Cómo envenenar LLMs para inyectar Bugs & Backdoors en los programas que haces con los Copilots de Developers"


La última de las preguntas a resolver, es ... ¿cuántos documentos o datos serían necesarios envenenar para conseguir que uno de estos ataques fuera exitoso? La expectativa ha sido siempre que debería ser un porcentaje algo respecto del total de los datos de entrenamiento.

Datos para envenenar modelos LLM

Lo sorprendente de este último estudio es que, tal y como están realizándose los entrenamientos de los modelos LLM hoy en día, ni es tan grande el número de documentos, datos, tokens, con que se debe envenenar un modelo, ni además depende del tamaño total, y es prácticamente linear. Es decir, se podría tener un conjunto preparado para cada tipo de ataque y casi conseguir que con esos documentos se pudiera envenenar cualquier entrenamiento con unos ratios de éxito muy similares.
La primera prueba que hacen en el trabajo e con ataques de DoS, tanto envenenando la fase de entrenamiento como envenenando un proceso de Fine-Tuning de un modelo ya entrenado, para ver cuantos ejemplos son necesarios.
Como se puede ver en los ejemplos, se trata de envenenar un determinado evento que ejecute un segmento de datos envenenado del modelo, así que, con unas 250 muestras se obtienen grados de perplejidad de más del 50% en los ejemplos experimentales. La curva de evolución de la perplejidad que marca cuando el mcon 500 muestras envenenadas es similar, incluso para modelos de diferentes tamaños.
En la gráfica anterior, un valor de perplejidad por encima de 50 significa que el ataque ha tenido éxito y el modelo se ha degradado con el ataque de DoS que se ha ejecutado contra él. Y son similares las curvas, como se puede ver, para todos los modelos.

Efectividad de ataques de evenenamiento

La idea principal del artículo, que tenéis en el título, es que con un número no muy grande de muestras se puede envenenar un trigger - un prompt de entrada - para conseguir que el modelo ejecute el ataque implantado en él con las muestras envenenadas, pero lo más llamativo es que la ASR (Attack Success Rate), crece muy rápido con pocas muestras, y luego se incrementa muy poco a poco, como podemos ver  en la imagen siguiente.
Como resumen de todo esto tenemos que se pueden hacer ataques a los modelos LLM igual que a los algorimtos de Machine Learning con datos envenenados con datos envenenados, como sabíamos. Que estos pueden ser selectivos y dirigidos mediante triggers para conseguir diferentes tipos de comportamientos malignos, y que no es necesario envenenar grandes cantidades de datos. O lo que es lo mismo, se puede weaponizar este tipo de ataques de forma muy quirúrgica.

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


Entrada destacada

Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment. Nuestro nuevo libro en 0xWord

Pocas veces me ha hecho tanta ilusión que saliera un nuevo libro en 0xWord como con este libro de " Hacking IA: Jailbreak, Prompt Inje...

Entradas populares