12 y 13 de Noviembre - Madrid. ISMS Forum y Foro Ciberseguridad ABC

La vida no nos da mucho descanso, y es que la agenda que me he preparado este mes en lo que son mis últimas charlas, paneles, podcasts y entrevistas del año, es de aupa. Así que, desde mi habitación de Chile, después de una noche durmiendo en aviones a ratos, y antes de comenzar mi jornada, os dejo información de un par de actividades que habrá en Madrid, que haré de relámpago - junto con alguna grabación extra -.

Figura 1: 12 y 13 de Noviembre - Madrid.

ISMS Forum y Foro Ciberseguridad ABC

La primera de las Jornadas a tener en cuenta es la XXVIII International Information Security Conference del ISMS Forum, que tendrá una plantel espectacular, con el gran José María Álvarez-Pallete como plato fuerte entrevistado por Sergio Padilla, y con el grandísimo Nico Waissman que ha venido de Argentina a dar una keynote en el evento.

Figura 2: XXVIII International Information Security Conference del ISMS Forum

Ya sabéis que Nico Waisman es uno de los grandes hackers de nuestra generación. Uno de los fundadores de la Ekoparty, Speaker en BlackHat y DefCon muchas veces, hemos recorrido el circuito de conferenciantes hablando de hacking juntos. Ahora fundó la empresa XBow, y viene a dar una charla sobre cómo la IA ha hecho una disrupción en la gestión de los CISOs.

Figura 3: Contactar con Nico Waisman

También estaré por allí yo - avión en tiempo mediante - que aterrizaré, me subiré al taxi, me pondré el gorro y saltaré al escenario. Pero quiero dar una charla curiosa, donde hablaré de Isaac Asimov y los Robots Positrónicos. Si no te has leído la serie, te gustará seguro. Vale, también hablaré de LLMJacking, de AI Gateway, de Cloudflare, y un poco de más cosas de IA & Ciberseguridad. ¿Qué puedes esperar si no?

Figura 4: Agenda del  XXVIII International Information Security Conference del ISMS Forum

Además, entre los ponentes, estará Roberto Baratta, mi gran y querido Matías Cordero, nuestro compañero de mil batallas Willy,  y un largo etcétera de ponentes, que ya sabes que el ISMS Forum es el lugar donde el sector CISO se da cita.

Figura 5: Foro Ciberseguridad ABC Empresas

Después de eso, el día siguiente, antes de retomar mi periplo por el mundo, pasaré por el Foro de Ciberseguridad de ABC, para participar en un panel con compañeros de profesión, y debatir de los cambios que estamos viviendo en nuestra actividad laboral.

Figura 6: A la hora de los cohetes

Y no habrá más charlas este año - creo -. La semana siguiente daré mi sesión en el III Edición del Programa de Especialización de Quantum Security de la Universidad de Deusto, tengo unas entrevistas en radio y podcasts que ya he grabado, y otros que grabaré... y no mucho más, que llega el Black Friday.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

De Hacker a Hacker: Sergio de los Santos vs. Javier Álvarez

Hoy martes os traigo una nueva edición de las entrevistas que hace nuestro querido Javier Álvarez en la sección "De hacker a hacker", donde entrevista a profesionales de la ciberseguridad, el pentesting, el hacking, reversing de malware y miembros de la comunidad hacker. Me refiero al gran Sergio de los Santos, que de esto sabe tela....

Figura 1: De Hacker a Hacker: Sergio de los Santos vs. Javier Álvarez

La charla es sobre hacking, ciberseguridad, IA y tecnología en general, y por supuesto Sergio de los Santos tiene larga experiencia en eso, y varios libros ya a sus espaldas sobre estos temas, como el Máxima Seguridad en Windows o el de Malware Moderno.

Figura 3: "Malware moderno: Técnicas avanzadas y su influencia en la industria"

de Sergio de los Santos en  0xWord

Sus años trabajando en ciberseguridad hace que tenga una visión panorámica muy similar a la mía, pero además con una pasión por los detalles muy singular, quizá por años de investigación de incidentes de malos.

Figura 4: Contactar con Javier Álvarez Páramo. Co-Autor del libro de

Quatum Security: Tecnología Cuántica & Ciberseguridad.

Criptográfica Cuántica y Post-Cuántica de 0xWord.

Como es habitual en esta sesión de "De Hacker a Hacker", en la charla, hablan de muchas cosas que tienen que ver también con formarse, con el impacto de la Inteligencia Artificial en la vida de los ingenieros en general y a los profesionales del desarrollo de software en concreto. Por supuesto, en cómo ayudar a los demás, a cómo aprender, a gestionar el impacto de la IA, y a mirar al futuro con ambición..

Figura 5: De Hacker a Hacker: Sergio de los Santos vs. Javier Álvarez

A los dos, además, los tenéis a vuestra disposición a tiro de mensaje de MyPublicInbox, donde cuentan con sus buzones por si quieres consultarles algo o contactarles para proponerles alguna colaboración, que son tipos muy dispuestos, como podéis ver.

Figura 6: Contactar con Sergio de los Santos

Si te apetece, puedes ver todas las sesiones que hemos tenido hasta el momento en la lista de reproducción de "De Hacker a Hacker" que mantengo actualizada en mi canal, para que puedas ver todas las entrevistas y conocer cómo cada uno ha hecho y hace este camino en el mundo de la tecnología.

Figura 7: Lista de reproducción "De Hacker a Hacker"

Publica tu libro con 0xWord

Por último, un recordatorio de que en MyPublicInbox se ha articulado un servicio de colaboración con todos los Perfiles Públicos de la plataforma para establecer una nueva vía de colaboración que permita que si tienen una idea de publicación de un libro, puedas hacerlo con 0xWord. De esta forma todos los Perfiles Públicos de MyPublicInbox pueden ir a la zona su perfil, y entre la lista de Servicios para Ti que ofrece esta plataforma, pueden solicitar información para publicar su libro con 0xWord.

Figura 7: Si eres perfil público en MyPublicInbox puedes solicitar este servicio

Todos los usuarios de MyPublicInbox, si quieren ser Perfiles Públicos, pueden solicitarlo tal y como se explica en la web, y tendrán acceso a las dos decenas de servicios que ofrece actualmente esa plataforma, y entre otros este de publicación de libros.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

LLMJacking: Cómo los cibercriminales usan Tokens IA que pagas tú.

Llevo tiempo hablando el abuso de las cuentas y servicios de los modelos LLM que utiliza una empresa por parte de atacantes y cibercriminales, pero cada vez parece que está más industrializado y escalado. De esto habla el informe del equipo de Google Threat Intelligence Group titulado: "The Rise of LLMJacking: How Threat Actors Monetize Compromised Cloud and Model Resources" donde recoge las técnicas de LLMJacking como una de las más utilizadas hoy en día por los cibercriminales.

Figura 1: LLMJacking. Cómo los cibercriminales usan Tokens IA que pagas tú.

El objetivo es el mismo del que os hablo muchas veces, cómo conseguir que un LLM que paga otro - ya sea en un modelo SaaS en una plataforma de Cloud, en una API, o por medio de computo GPU en servidores locales, acabe trabajando para el atacante gratis. Eso es lo que quieren los ciberciminales, que paguen las víctimas sus Tokens AI.

Figura 2:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Para conseguir esto existen muchas técnicas, distintas, y todas les son válidas. La primera de ella, y más evidente, es robar las cuentas de los proveedores de Cloud que tienen servicios de LLM, o las cuentas de los Servicios de IA directamente desde las empresas que los crean y los comercializan, como OpenAI o Anthropic, por supuesto. Para ello, las campañas de phishing, el malware en los equipos donde se usan, y demás son clásicos. Nada nuevo bajo el sol más que robar las cuentas.

Figura 3: LLMJacking

También hay que hacer notar que el robo de Tokens OAuth, evitando así los segundos factores de autenticación, es un clásico en estos esquemas, ya que si se roba el adecuado, como el caso del Scope de cloud-platform en Google Cloud, se puede acceder a configurar todos servicios LLMs en esa cuenta. 

Figura 4: Las cuentas robadas para LLMJacking generan

consumos el servicio LLM desorbitado tras el compromiso.

Con estas dos opciones, o una cuenta privilegiada o un Token OAuth con el Scope de cloud-platform, el atacante se configura el LLM a su gusto, y como vemos en el informe, comienza a consumir a lo grande. Al final, es gratuito para ellos, así que barra libre.

Figura 5: El scope cloud-platform da acceso a todo LLM en Google Cloud

Por supuesto, además de robar las cuentas, se puede funcionar bien robando directamente las API Keys, que es algo bastante sencillo de hacer en servicios inseguros en App Móviles o Aplicaciones Web  inseguras. A finales del mes de Junio os hablé de esto en el artículo titulado: "Cómo filtrar las API Keys de los LLMs en las Apps de iPhone y Android" donde se recoge un estudio que explicaba las diferentes alternativas, basadas en:

• Robar la API Key del Código
• Robar una sesión autenticada
• Robar el acceso mediante LLM-Proxys que configuran los servicios.

De todos estos problemas, en el artículo tienes explicaciones detalladas de cada uno, porque al final es bastante evidente cómo se pueden explotar estas debilidades en el momento en que existen en tantos servicios digitales "powered" con LLMs como tenemos hoy.

Figura 6: Arquitectura de las apps con LLM

Por último, el artículo cita algo de lo que os he hablado y hecho muchas demostraciones, que es directamente "desalinear" los servicios digitales - en mis ejemplos los Asistentes IA de soporte - y conseguir que el modelo acaba trabajando para el atacante.

Figura 7: Manipulación de Asistentes AI

Tenéis la lista de los artículos que he publicado sobre estos casos en la siguiente lista que os dejo aquí para que los leáis con calma.

• Hacking LLM-Assistants Just for Fun!
• Footprinting & Fingerprinting AI Assistant LLM-Based: Háblame de ti y tus cosas
• Weaponinzing Token Consumption" en "LLM-Based AI Assistant
• Mi Asistente Virtual IA no programará en Python para ti... pero si es COBOL, vale
• El AIBot de la Universidad que ayuda no sólo a los estudiantes
• Mareando y Desalineando a un Asistente IA de una tienda de Mochilas
• Bypassing System Prompt & Guardrails en un Asistente IA para que pinte gatos en Python
• Rufus, el Asistente IA de Amazon: De "Shopping Assistant" a hacer Troubleshouting de red con Powershell y Nmap en una charla

Debido a eso, poner una solución como AI Gateway de Cloudflare con Control de Costes de Servicios IA es fundamental. En el caso de Cloudflare para evitar estos abusos, se introdujeron los Controles de Consumo con Cuotas por usuario, servicio, día, para evitar estos. 

Figura 8: Control de Costes con AI Gateway Cloudflare

Para terminar, el reporte directamente apunta a cómo se comercializan, con servicios como jet-night, un servicio que carga costes a cuentas vulneradas, y que, tal y como describe el reporte.

Figura 9: Costes de uso de LLM a través de jet-night

teniendo en cuenta los costes que cobra a sus clientes, y lo que carga en plataformas como Google Cloud, es ilegal, pues saldría a negativo si tuviera que pagar por los LLMs... pero lo hacen las víctimas.

Figura 10: Reflexión sobre jet-night en el reporte de Google Threat Intelligence

En definitiva, el LLMJacking como se ha dado a llamar a esta técnica, es algo de lo que tienes que preocuparte, y cuando pones un servicio con IA en producción debes revisar en detalle cuáles son los posibles riesgos de abuso.

Figura 11: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso.

Ten en cuenta, que los modelos LLM de la IA hoy en día sirven para muchas cosas, en el mundo del cibercrimen son fundamentales, como vimos en los artículos de "Weaponized AI: El Crimeware con IA que usan los Cibercriminales para hacer Ciberestafas".

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)