LLMJacking: Cómo los cibercriminales usan Tokens IA que pagas tú.

Llevo tiempo hablando el abuso de las cuentas y servicios de los modelos LLM que utiliza una empresa por parte de atacantes y cibercriminales, pero cada vez parece que está más industrializado y escalado. De esto habla el informe del equipo de Google Threat Intelligence Group titulado: "The Rise of LLMJacking: How Threat Actors Monetize Compromised Cloud and Model Resources" donde recoge las técnicas de LLMJacking como una de las más utilizadas hoy en día por los cibercriminales.

Figura 1: LLMJacking. Cómo los cibercriminales usan Tokens IA que pagas tú.

El objetivo es el mismo del que os hablo muchas veces, cómo conseguir que un LLM que paga otro - ya sea en un modelo SaaS en una plataforma de Cloud, en una API, o por medio de computo GPU en servidores locales, acabe trabajando para el atacante gratis. Eso es lo que quieren los ciberciminales, que paguen las víctimas sus Tokens AI.

Figura 2:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Para conseguir esto existen muchas técnicas, distintas, y todas les son válidas. La primera de ella, y más evidente, es robar las cuentas de los proveedores de Cloud que tienen servicios de LLM, o las cuentas de los Servicios de IA directamente desde las empresas que los crean y los comercializan, como OpenAI o Anthropic, por supuesto. Para ello, las campañas de phishing, el malware en los equipos donde se usan, y demás son clásicos. Nada nuevo bajo el sol más que robar las cuentas.

Figura 3: LLMJacking

También hay que hacer notar que el robo de Tokens OAuth, evitando así los segundos factores de autenticación, es un clásico en estos esquemas, ya que si se roba el adecuado, como el caso del Scope de cloud-platform en Google Cloud, se puede acceder a configurar todos servicios LLMs en esa cuenta. 

Figura 4: Las cuentas robadas para LLMJacking generan

consumos el servicio LLM desorbitado tras el compromiso.

Con estas dos opciones, o una cuenta privilegiada o un Token OAuth con el Scope de cloud-platform, el atacante se configura el LLM a su gusto, y como vemos en el informe, comienza a consumir a lo grande. Al final, es gratuito para ellos, así que barra libre.

Figura 5: El scope cloud-platform da acceso a todo LLM en Google Cloud

Por supuesto, además de robar las cuentas, se puede funcionar bien robando directamente las API Keys, que es algo bastante sencillo de hacer en servicios inseguros en App Móviles o Aplicaciones Web  inseguras. A finales del mes de Junio os hablé de esto en el artículo titulado: "Cómo filtrar las API Keys de los LLMs en las Apps de iPhone y Android" donde se recoge un estudio que explicaba las diferentes alternativas, basadas en:

• Robar la API Key del Código
• Robar una sesión autenticada
• Robar el acceso mediante LLM-Proxys que configuran los servicios.

De todos estos problemas, en el artículo tienes explicaciones detalladas de cada uno, porque al final es bastante evidente cómo se pueden explotar estas debilidades en el momento en que existen en tantos servicios digitales "powered" con LLMs como tenemos hoy.

Figura 6: Arquitectura de las apps con LLM

Por último, el artículo cita algo de lo que os he hablado y hecho muchas demostraciones, que es directamente "desalinear" los servicios digitales - en mis ejemplos los Asistentes IA de soporte - y conseguir que el modelo acaba trabajando para el atacante.

Figura 7: Manipulación de Asistentes AI

Tenéis la lista de los artículos que he publicado sobre estos casos en la siguiente lista que os dejo aquí para que los leáis con calma.

• Hacking LLM-Assistants Just for Fun!
• Footprinting & Fingerprinting AI Assistant LLM-Based: Háblame de ti y tus cosas
• Weaponinzing Token Consumption" en "LLM-Based AI Assistant
• Mi Asistente Virtual IA no programará en Python para ti... pero si es COBOL, vale
• El AIBot de la Universidad que ayuda no sólo a los estudiantes
• Mareando y Desalineando a un Asistente IA de una tienda de Mochilas
• Bypassing System Prompt & Guardrails en un Asistente IA para que pinte gatos en Python
• Rufus, el Asistente IA de Amazon: De "Shopping Assistant" a hacer Troubleshouting de red con Powershell y Nmap en una charla

Debido a eso, poner una solución como AI Gateway de Cloudflare con Control de Costes de Servicios IA es fundamental. En el caso de Cloudflare para evitar estos abusos, se introdujeron los Controles de Consumo con Cuotas por usuario, servicio, día, para evitar estos. 

Figura 8: Control de Costes con AI Gateway Cloudflare

Para terminar, el reporte directamente apunta a cómo se comercializan, con servicios como jet-night, un servicio que carga costes a cuentas vulneradas, y que, tal y como describe el reporte.

Figura 9: Costes de uso de LLM a través de jet-night

teniendo en cuenta los costes que cobra a sus clientes, y lo que carga en plataformas como Google Cloud, es ilegal, pues saldría a negativo si tuviera que pagar por los LLMs... pero lo hacen las víctimas.

Figura 10: Reflexión sobre jet-night en el reporte de Google Threat Intelligence

En definitiva, el LLMJacking como se ha dado a llamar a esta técnica, es algo de lo que tienes que preocuparte, y cuando pones un servicio con IA en producción debes revisar en detalle cuáles son los posibles riesgos de abuso.

Figura 11: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso.

Ten en cuenta, que los modelos LLM de la IA hoy en día sirven para muchas cosas, en el mundo del cibercrimen son fundamentales, como vimos en los artículos de "Weaponized AI: El Crimeware con IA que usan los Cibercriminales para hacer Ciberestafas".

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)