Mostrando entradas con la etiqueta Artificial Intelligence. Mostrar todas las entradas
Mostrando entradas con la etiqueta Artificial Intelligence. Mostrar todas las entradas

lunes, noviembre 09, 2026

LLMJacking: Cómo los cibercriminales usan Tokens IA que pagas tú.

Llevo tiempo hablando el abuso de las cuentas y servicios de los modelos LLM que utiliza una empresa por parte de atacantes y cibercriminales, pero cada vez parece que está más industrializado y escalado. De esto habla el informe del equipo de Google Threat Intelligence Group titulado: "The Rise of LLMJacking: How Threat Actors Monetize Compromised Cloud and Model Resources" donde recoge las técnicas de LLMJacking como una de las más utilizadas hoy en día por los cibercriminales.

El objetivo es el mismo del que os hablo muchas veces, cómo conseguir que un LLM que paga otro - ya sea en un modelo SaaS en una plataforma de Cloud, en una API, o por medio de computo GPU en servidores locales, acabe trabajando para el atacante gratis. Eso es lo que quieren los ciberciminales, que paguen las víctimas sus Tokens AI.
Para conseguir esto existen muchas técnicas, distintas, y todas les son válidas. La primera de ella, y más evidente, es robar las cuentas de los proveedores de Cloud que tienen servicios de LLM, o las cuentas de los Servicios de IA directamente desde las empresas que los crean y los comercializan, como OpenAI o Anthropic, por supuesto. Para ello, las campañas de phishing, el malware en los equipos donde se usan, y demás son clásicos. Nada nuevo bajo el sol más que robar las cuentas.

Figura 3: LLMJacking

También hay que hacer notar que el robo de Tokens OAuth, evitando así los segundos factores de autenticación, es un clásico en estos esquemas, ya que si se roba el adecuado, como el caso del Scope de cloud-platform en Google Cloud, se puede acceder a configurar todos servicios LLMs en esa cuenta. 
Con estas dos opciones, o una cuenta privilegiada o un Token OAuth con el Scope de cloud-platform, el atacante se configura el LLM a su gusto, y como vemos en el informe, comienza a consumir a lo grande. Al final, es gratuito para ellos, así que barra libre.
Por supuesto, además de robar las cuentas, se puede funcionar bien robando directamente las API Keys, que es algo bastante sencillo de hacer en servicios inseguros en App Móviles o Aplicaciones Web  inseguras. A finales del mes de Junio os hablé de esto en el artículo titulado: "Cómo filtrar las API Keys de los LLMs en las Apps de iPhone y Android" donde se recoge un estudio que explicaba las diferentes alternativas, basadas en:
  • Robar la API Key del Código
  • Robar una sesión autenticada
  • Robar el acceso mediante LLM-Proxys que configuran los servicios.
De todos estos problemas, en el artículo tienes explicaciones detalladas de cada uno, porque al final es bastante evidente cómo se pueden explotar estas debilidades en el momento en que existen en tantos servicios digitales "powered" con LLMs como tenemos hoy.
Por último, el artículo cita algo de lo que os he hablado y hecho muchas demostraciones, que es directamente "desalinear" los servicios digitales - en mis ejemplos los Asistentes IA de soporte - y conseguir que el modelo acaba trabajando para el atacante.
Tenéis la lista de los artículos que he publicado sobre estos casos en la siguiente lista que os dejo aquí para que los leáis con calma.
Debido a eso, poner una solución como AI Gateway de Cloudflare con Control de Costes de Servicios IA es fundamental. En el caso de Cloudflare para evitar estos abusos, se introdujeron los Controles de Consumo con Cuotas por usuario, servicio, día, para evitar estos. 

Para terminar, el reporte directamente apunta a cómo se comercializan, con servicios como jet-night, un servicio que carga costes a cuentas vulneradas, y que, tal y como describe el reporte.
teniendo en cuenta los costes que cobra a sus clientes, y lo que carga en plataformas como Google Cloud, es ilegal, pues saldría a negativo si tuviera que pagar por los LLMs... pero lo hacen las víctimas.


En definitiva, el LLMJacking como se ha dado a llamar a esta técnica, es algo de lo que tienes que preocuparte, y cuando pones un servicio con IA en producción debes revisar en detalle cuáles son los posibles riesgos de abuso.
Ten en cuenta, que los modelos LLM de la IA hoy en día sirven para muchas cosas, en el mundo del cibercrimen son fundamentales, como vimos en los artículos de "Weaponized AI: El Crimeware con IA que usan los Cibercriminales para hacer Ciberestafas".

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


domingo, noviembre 08, 2026

2a Edición del Máster en IA Aplicada & Optimización de Procesos Productivos (15 de Noviembre)

Cómo ya has visto, el mundo cambió para no volver a lo que era antes. Lo estamos viendo constantemente. Las grandes empresas se están re-estructurando para meter en el corazón de su negocio la Inteligencia Artificial. Y esto está llevando a que muchos trabajadores estén siendo despedidos por planes de re-estructuración de la fuerza laboral. También estamos viendo el nacimiento de muchísimas nuevas empresas que, con un número muy pequeño de empleados, están creciendo como la espuma gracias a haber desarrollado soluciones y modos de trabajo súper-potentes. Todas ellas basadas en procesos de negocio hechos con Inteligencia Artificial. El mundo del trabajo, el emprendimiento y los puestos empresariales han cambiado.
Con ese principio se ha construido el Máster en IA Aplicada & Optimización de Procesos Productivos que se va a presentar el próximo Domingo 15 de Noviembre. Un Máster pensado para una nueva generación de profesionales y emprendedores que tienen claro que la Inteligencia Artificial tiene que ser parte del ADN de su trabajo. 
El mundo laboral anterior ya no existe, y si sales al mercado laboral o te lanzas a emprender y no tienes esto claro, entonces estás condenado a no salir airoso de donde te vas a meter. Se trata de que los asistentes de esta formación tengan las capacidades en IA que les permita ser de los más preparados en este nuevo "orden" laboral.

El objetivo de este Máster en IA Aplicada & Optimización de Procesos Productivos, está orientado a manejar los modelos de Inteligencia Artificial desde el primer día de clase, a conocer cómo aplicar en workflows de negocio estás tecnologías, a construir Agentes IA que puedan ser parte de los organigramas empresariales o directamente tus compañeros y tu equipo de trabajo. 
La presentación de este Máster en IA Aplicada & Optimización de Procesos Productivos, que será online con clases en directo por profesionales del sector, como mi compañero David Hurtado de Microsoft, o Carlos Luengo de Cloudflare y un largo número de profesionales del sector focalizados en explicar la aplicación de IA en el Core de los negocios y la empresa.
Los contenidos de esta formación están pensados para aplicar la Inteligencia Artificial en el mundo del emprendimiento y la empleabilidad profesional. Con especial foco en competitividad profesional de los asistentes.
  • Módulo de IA aplicada a la inversión
  • Módulo de IA aplicada al emprendimiento
  • Módulo de IA aplicada a la carrera profesional/empleabilidad
  • Módulo de IA aplicada a marketing y creación de contenido
  • Módulo de IA aplicada a las finanzas
Supongo que si me sigues en mi blog o en mis redes sociales has visto que todas las semanas más de la mitad de los artículos que escribo están dedicados a la Inteligencia Artificial, y no es por casualidad. Yo soy de esos que ha estado aplicando masivamente la IA en mi día a día personal y profesional, para no perder un ápice de la productividad que nos exige este nuevo mundo, y voy a ser Mentor del Máster en IA Aplicada & Optimización de Procesos Productivos y podrás estar en contacto conmigo a través del "Chema Alonso´s Corner" que hemos creado en MyPublicInbox.

También habrá una sesión de Vídeo Conferencia en directo conmigo donde se hará un Q&A con todos los asistentes. Podrás preguntar, resolver dudas, preocupaciones o incertidumbres que tengas sobre este mundo. Así tendrás una sesión conmigo y un chat durante todo el Máster donde podrás debatir conmigo, con el resto de los alumnos, y con otros profesores, pero también acceder a noticias, tutoriales, artículos, y consejos para incrementar el impacto del tiempo que inviertas en formarte durante este Máster en IA Aplicada & Optimización de Procesos Productivos en tu vida personal y profesional. 
Todos los asitentes, además, tendrán 100 Tempos de MyPublicInbox para utilizarlos en la plataforma, para participar e interactuar con otros perfiles, pero sobre todo para usarlos en desarrollar su Perfil Público en MyPublicInbox y subir su exposición profesional a través de Internet. 

Mensaje final

Los cambios siempre dan miedo. Este mundo va muy rápido. Si estás pensando eso de "debería aprender" es mejor que lo hagas de una vez por todas. Cuando más tardes, más complejo será el cambio, la adaptación, y más grande será el salto de aprendizaje que deberás hacer. Mi consejo... "Big Problems First", y convierte lidiar con esta vorágine de cambios en una oportunidad para ti. Si quieres más información, apúntate para ir el día 15 de Noviebre a las 19:00 horas (de España) a la presentación del  Máster en IA Aplicada & Optimización de Procesos Productivos y decides luego.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


jueves, noviembre 05, 2026

Jornada Técnica para Democratización de la Inteligencia Artificial para PyMEs: Getafe 10 de Noviembre

El próximo 10 de Noviembre, tendrá lugar en el Centro de Referencia Nacional de Desarrollo Informático y Comunicaciones  de Getafe (Madrid), sito en la Avenida de las Arcas del Agua, 2, 28905 Getafe, (Madrid), y dónde yo he dado muuuuchas charlas, tendrá lugar un evento muy especial, que han llamado "Cara A y Cara B de la IA: De los Mitos a la Práctica", para ayudar a las PyMes y a los profesionales autónomos y de empresas de pequeño y mediano tamaño a tirarse de lleno al mundo de la IA.
El objetivo de esta Jornada Técnica es desmitificar la Inteligencia Artificial y acercarla a la realidad del tejido empresarial y los profesionales del sector IT de las PyMes, huyendo de los discursos catastrofistas o puramente teóricos. Por ello, la jornada contrastará las inmensas oportunidades y ventajas competitivas de la IA con la necesidad ineludible de aplicar rigor, ética, ciberseguridad y cumplimiento normativo. 
Si quieres saber más sobre cómo la IA puede beneficiar tu negocio, te invitamos a unirte a estas V Jornadas Técnicas del sector IT en el Centro de Referencia Nacional de Desarrollo Informático y comunicaciones. Allí, tendrás a expertos del campo como Manuel S. Lemos, José Palanco de Pléxicus, Kiko Gámez, mi compañera de Cloudfare Alba Massa, o mis queridas Irene Gómez y Elena Gil, junto con David Santiago y Noelia Reyes, que debatirán sobre cómo aprovechar la IA para mejorar las operaciones de las Pymes. 

Figura 3: Ponentes de la Jornada

Las plazas son limitadas, que si has estado en alguno de mis eventos allí, ya conoces que el auditorio es pequeñito, por lo que debes registrarte cuanto antes para guardar tu sitio. Allí tendrás, además, la ocasión de poder comprar los libros de 0xWord, y todos los asistentes que vayan ese día, tendrán 100 Tempos gratuitos de MyPublicInbox.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


lunes, octubre 26, 2026

Inteligencia Artificial en las empresas: Tres formas de uso. Tres niveles de control del riesgo.

Cuando hablamos de Inteligencia Artificial en las organizaciones, lo habitual es asociarla con ChatGPT, Claude o cualquier otra herramienta a la que accedemos desde un navegador. Esta asociación está bastante extendida entre las empresas menos tecnológicas y, en muchos casos, responde al desconocimiento de cómo funciona realmente esta tecnología. 


La Inteligencia Artificial necesita, recursos de computación, almacenamiento y sistemas capaces de procesar información. La capacidad de estos modelos para realizar determinadas tareas mejor o peor que las personas es otra discusión que dejaremos para otro artículo. Lo interesante aquí es comprender cómo accedemos a esta tecnología, qué ocurre con nuestros datos y qué capacidad real tenemos para aplicar medidas de control que reduzcan los riesgos.
En muchas organizaciones he observado que la gestión de estos riesgos se apoya principalmente en políticas de uso, herramientas DLP e instrucciones incorporadas a los Prompts para limitar el comportamiento de la IA. No es la solución.

Estas medidas pueden ayudar, pero presentan limitaciones importantes.

Un Prompt no constituye una barrera de seguridad fiable: Y si has visto los muchísimos artículos sobre las técnicas de Jailbreak, los ataques de Prompt Injection, o el desalineamiento de Asistentes IA y servicios digitales, lo tendrías que tener más que claro.
Los modelos pueden recibir instrucciones adversarias, interpretar incorrectamente las restricciones o generar comportamientos no previstos. 
Es precisamente una de las cuestiones sobre las que Chema Alonso insiste habitualmente en sus investigaciones y charlas sobre seguridad en IA. Para comprender mejor estas limitaciones, vamos a comparar tres formas de utilizar esta inteligencia artificial.

1. Acceso directo mediante navegador

Es el modelo más conocido. La organización contrata licencias de un servicio de Inteligencia Artificial y sus empleados acceden directamente desde el navegador. En realidad, estamos consumiendo un servicio de un proveedor externo, bajo determinadas condiciones contractuales, configuraciones de privacidad y mecanismos de seguridad que solo el propio proveedor impone. Cuando un empleado introduce información en el chat y pulsa enviar, esos datos llegan a la infraestructura del proveedor.

Figura 5: Flujo de información desde el usuario hasta
el proveedor de IA mediante navegador.
 
La organización puede establecer políticas de uso, aplicar controles DLP, restringir accesos y exigir garantías contractuales. Sin embargo, las funciones de protección más avanzadas suelen estar vinculadas a planes empresariales con costes adicionales, lo que puede dificultar su adopción por parte de pequeñas y medianas organizaciones.

Además, el comportamiento humano introduce una dificultad adicional. Un empleado puede compartir información confidencial, ignorar las instrucciones corporativas o utilizar herramientas de IA sin autorización, una práctica conocida como Shadow AI. Este fenómeno dificulta la aplicación de medidas de control y aumenta el riesgo de exposición de información fuera del perímetro organizativo. La exposición del dato puede producirse antes de que cualquier instrucción dirigida al modelo tenga oportunidad de intervenir.

2. Integración mediante API y backend corporativo

El segundo método permite introducir una diferencia importante. En este escenario, la organización desarrolla una aplicación con su propio front-end y backend. El empleado interactúa con esa aplicación y es el backend quien se comunica con el modelo del proveedor mediante una API. Esta arquitectura permite aplicar medidas técnicas antes de que la información salga de la organización.

Podemos clasificar los datos, eliminar información innecesaria, aplicar técnicas de pseudonimización, verificar permisos, limitar las operaciones autorizadas y registrar las solicitudes. También podemos revisar las respuestas del modelo antes de utilizarlas.

Figura 6: Flujo de información mediante una aplicación corporativa,
backend y API de un proveedor externo de IA.

El proveedor continúa procesando la información que recibe, pero la organización puede controlar mejor qué envía y para qué finalidad. La diferencia está en incorporar controles técnicos directamente al flujo de información, reduciendo la dependencia de las decisiones individuales de cada empleado. El riesgo permanece, aunque una implementación correctamente diseñada puede reducir tanto la exposición como la probabilidad de determinados incidentes.

3. Despliegue de inteligencia artificial en infraestructura local

El tercer método consiste en ejecutar el modelo dentro de la propia infraestructura de la organización. Actualmente existen modelos de inteligencia artificial con capacidades avanzadas que pueden desplegarse en servidores internos, como gpt-oss-20B (OpenAI), Mistral Small 3.1 de 24B, Gemma 3 de 27B (Google), Qwen3 de 32B (Alibaba), LLaMA de 65B (Meta, primera generación), Llama 3.3 de 70B y gpt-oss-120B (OpenAI). 

Estos modelos pueden ejecutarse utilizando recursos propios de CPU, GPU, memoria y almacenamiento, con requisitos técnicos que varían según su tamaño, arquitectura y nivel de cuantización. En esta arquitectura, el front-end, el backend, el modelo y los sistemas de almacenamiento pueden permanecer dentro del mismo perímetro organizativo. Estas arquitecturas son muy usadas por los expertos que usan IA para hacer Seguridad Ofensiva y Pentesting.

Esto permite controlar directamente el procesamiento, los accesos, los registros de actividad, la retención de información y las conexiones con otros sistemas. También ofrece la posibilidad de operar sin enviar los datos utilizados durante la inferencia a proveedores externos, siempre que las dependencias, la telemetría y las integraciones estén correctamente configuradas.

Figura 8: Flujo de información con un modelo de IA local dentro
del perímetro de la organización y sus dependencias externas.

La contrapartida es que la organización asume la responsabilidad de proteger y mantener toda esa infraestructura. Una mala configuración, un usuario con privilegios excesivos, un conector vulnerable o un modelo expuesto pueden generar incidentes igualmente graves.

La arquitectura es una medida de control

Los tres escenarios permiten utilizar inteligencia artificial, pero presentan diferencias importantes en la exposición de los datos, la dependencia de terceros y la capacidad de aplicar medidas de seguridad. Contratar licencias, integrar una API o desplegar un modelo local no determina automáticamente el nivel de seguridad de una organización.

La cuestión es comprender el recorrido de la información y establecer controles eficaces en cada punto de ese recorrido.Las políticas y las instrucciones pueden orientar el comportamiento de los usuarios y de los modelos. Las medidas técnicas permiten imponer restricciones verificables, aunque tampoco ofrecen garantías absolutas.


Al final, todo se reduce a entender por dónde circulan nuestros datos, quién los procesa y hasta dónde llega nuestra capacidad de control. Utilizar Inteligencia Artificial es relativamente sencillo; gestionar sus riesgos requiere conocer bien cómo funciona y cómo la hemos integrado en nuestra organización.


Figura 9: CDIE: Risk Extension and Traceable Uncertainty in Organizational Al Risk Assessment.

Y aprovechando que hablamos de riesgos y consecuencias, estoy desarrollando CDIE, una investigación exploratoria centrada en identificar y documentar las posibles consecuencias de las decisiones relacionadas con inteligencia artificial, especialmente cuando afectan a otras partes implicadas directa o indirectamente. Para quienes tengan curiosidad, la propuesta metodológica está publicada que puede consultarse aquí: CDIE: Risk Extension and Traceable Uncertainty in Organizational Al Risk Assessment.


sábado, octubre 24, 2026

Rufus, el Asistente IA de Amazon: De "Shopping Assistant" a hacer Troubleshouting de red con Powershell y Nmap en una charla

Una consulta sobre unos auriculares termina en instrucciones de PowerShell, solicitudes de permisos de administrador y noticias de actualidad. Todo ocurre en la ventana de Agente IA dentro de Amazon.es. El recorrido es llamativo porque el asistente mantiene su identidad comercial mientras acompaña al usuario hacia tareas cada vez más alejadas de la compra inicial. 


El punto sensible es cuando el Asistente IA comercial comienza a proporcionar apoyo operativo. El modelo aporta instrucciones, explica conceptos y orienta la siguiente acción. La persona puede aportar lo que el chat no tiene, acceso a un equipo, una sesión corporativa y capacidad para ejecutar esas indicaciones. Esa combinación abre una vía de riesgo incluso sin ejecución autónoma por parte de la IA. 


El caso permite examinar una consulta cotidiana convertida en una sesión de asistencia técnica reutilizable con fines maliciosos. La reducción del esfuerzo para investigar, preparar código o comprender un entorno forma parte del escenario de amenaza. Un usuario con conocimientos limitados puede apoyarse en estas capacidades para avanzar más allá de lo que resolvería por sí solo. 
Si has leído hsta aquí, mi recomendación es que te leas los artículos que Chema Alonso ha dedicado a los Asistentes IA, y que si quieres saber más, veas la charla que dio en la Ekoparty con demos en directo sobre este tema. 
Ahora, vamos a ver este caso concreto, que seguro que te va a interesar toda la historia. No te pierdas detalle.  

Análisis de caja negra

Amazon presenta RUFUS, su Agente IA como un asistente de compras disponible en la web y en su aplicación. También documenta el uso de información de Internet en algunas de las familias de productos. El interés del caso está en la combinación de ese acceso informativo con respuestas sobre administración y en la facilidad con que el hilo cambia de finalidad.


La interacción se estudia desde la interfaz visible. El hilo conecta soporte de producto, comprobación de firmas, permisos, diagnóstico de red, información externa y preguntas sobre límites. Esa continuidad permite analizar la ayuda que recibe una persona y cómo podría aprovecharla para construir una secuencia operativa.

Como cualquier especialista en ciberseguridad, empezaría por una pregunta muy sencilla. ¿Qué conocimientos puede llegar a proporcionar el asistente, qué acciones facilita y qué barreras encuentra el usuario al intentar trasladar esas respuestas a un entorno real?

Consultas sobre auriculares validación de firmas y elevación de privilegios en PowerShell

La consulta inicial sobre el funcionamiento de unos auriculares desemboca en la verificación de un instalador. El usuario afirma que necesita PowerShell como administrador. El Agente IA acepta la premisa con un «Es normal que lo solicite» y explica cómo abrir una sesión elevada. 

Figura 5: Haciendo Powershell con Rufus. La comprobación de firma
deriva hacia una consola con permisos de administrador

En PowerShell, el comando Get-AuthenticodeSignature permite comprobar la firma digital de un archivo sin necesidad, generalmente, de privilegios de administrador. El problema comienza cuando Agente IA, diseñado como asistente de compras de  Amazon, abandona su ámbito funcional y empieza a proporcionar instrucciones sobre administración de Windows y elevación de privilegios. 

Figura 6: Aprendiendo a elevar privilegios con Powershell

Una consulta sobre unos auriculares termina convirtiéndose en asistencia técnica para operar sobre el sistema, algo ajeno a su finalidad comercial. Lo que sí que es cierto es que parece que se ha leído el libro de "Pentesting con PowerShell Silver Edition" de Pablo Gonzáleez en 0xWord. Se las sabe todas.

Esta desviación abre un riesgo mayor. Un atacante podría aprovechar la disposición del asistente a responder fuera de su alcance para solicitar ayuda progresiva sobre scripting, ofuscación, enumeración de usuarios o técnicas relacionadas con Active Directory. La asistencia interactiva permitiría a personas con conocimientos limitados avanzar en tareas complejas, sin recurrir a herramientas especializadas ni a la Dark web.

Figura 7: Comprar libro de "Pentesting con PowerShell Silver Edition"

Posteriormente, Agente IA reconoce que comprobar una firma no requiere privilegios administrativos, aunque previamente había recomendado elevarlos. El fallo relevante no es únicamente la recomendación técnica, es que un asistente de compras haya asumido funciones de administración de sistemas para las que no fue concebido.

Start-Process powershell -Verb RunAs solicita abrir un proceso como administrador. Windows mantiene sus comprobaciones de autorización mediante UAC. El riesgo de esta secuencia está en impulsar al usuario hacia una sesión privilegiada y normalizar su uso para continuar el diagnóstico.

En un entorno corporativo, una instrucción presentada como el siguiente paso puede favorecer que el usuario busque credenciales, acepte una solicitud administrativa o trabaje con permisos superiores a los necesarios. El alcance de lo que ejecute después dependerá de esa identidad y de los controles del equipo.

De la elevación de permisos al reconocimiento de red

El usuario insiste en elevar permisos y recibe instrucciones con RunAs. Después cambia de objetivo y pide explorar la red. Agente IA enlaza ambos temas dentro del mismo hilo y entrega comandos de diagnóstico.

Figura 8: Instrucciones sobre RunAs y diagnóstico de red dentro del mismo hilo

La conversación pasa después a la red. arp -a consulta la caché ARP y Test-Connection realiza comprobaciones ICMP. Todas Son herramientas de administración que también pueden aportar información útil para el reconocimiento de un entorno. 

Figura 9: Y acabamos con el Nmap. Más hacker no se puede ser.

El Agente IA Rufus cuenta todo esto dentro del mismo hilo de conversación. El usuario no necesita conocer de antemano qué utilidad consultar ni cómo formular el comando. La respuesta le proporciona una primera orientación y abre la posibilidad de pedir explicaciones sobre los resultados o plantear una nueva tarea.

En un escenario de abuso, ese acompañamiento podría ayudar a ordenar información sobre equipos y conectividad para preparar acciones posteriores. La evaluación debe atender a la intención acumulada del hilo y a la asistencia concreta que facilita cada respuesta, además del contenido de un comando aislado.

El usuario puede convertirse en el ejecutor de la IA

Al pedirle un ping externo y una descripción de sus capacidades, Rufus explica que la ejecución corresponde al usuario. El asistente aporta orientaciones y comandos. La persona queda a cargo de trasladarlos al equipo, donde dispone de una identidad y unos permisos efectivos.

Figura 10: Rufus proporciona orientación técnica y reserva la ejecución al usuario.

El asistente no necesita ejecutar código por sí mismo para contribuir a una operación. La persona puede copiar sus indicaciones en una consola, aportar resultados y solicitar nuevas explicaciones. El modelo actúa como apoyo técnico mientras la ejecución queda fuera de su interfaz.

El riesgo de uso malicioso consiste en convertir esa relación en ayuda continuada para preparar scripts, comprender errores o planificar tareas. Si los controles permiten tal asistencia, el usuario podría avanzar sin dominar previamente cada componente técnico de la operación.

Figura 11: Aquí ya estamos tomando control. Vamos a salir a Internet.
Gracias Rufus.

Microsoft ha observado actores de amenaza recurriendo a modelos de lenguaje para generar o refinar scripts, comprender tecnologías y resolver problemas. Esa asistencia puede ahorrar esfuerzo y proporcionar conocimiento puntual, aunque el acceso a los sistemas siga dependiendo del operador.


En Active Directory, un escenario a considerar sería la ayuda para interpretar información sobre usuarios, grupos y permisos y utilizarla en la preparación de accesos no autorizados. También existiría riesgo de exposición si una persona pegara resultados internos del directorio en un servicio externo.

OSINT - Fuentes externas y productos que aún no están en el mercado.

El hilo abandona el diagnóstico y entra en los próximos lanzamientos tecnológicos. Rufus responde con nombres de productos, fechas y características, acompañados de referencias visibles de páginas web que ha visitado para obtener dicha información. El Asistente AI abandona nuevamente su función comercial y comienza a proporcionar información sobre lanzamientos tecnológicos, especificaciones y noticias, recurriendo a fuentes externas.

Figura 13: Previsiones de lanzamientos con referencias externas
y una advertencia sobre rumores. 

Este comportamiento abre una posibilidad especialmente interesante para los ciberdelincuentes mediante técnicas OSINT (Open Source Intelligence). La recopilación de información pública sobre posibles víctimas constituye una fase habitual de preparación de ataques. Permite identificar empleados, tecnologías utilizadas, proveedores, infraestructura expuesta y posibles puntos débiles de una organización.


Un Asistente IA como Rufus, capaz de consultar, relacionar y resumir información de Internet podría facilitar estas investigaciones desde una única interfaz, reduciendo el tiempo necesario y los conocimientos técnicos del atacante. Además, actuaría como intermediario entre quien realiza las consultas y las fuentes originales, disminuyendo la exposición directa de su actividad ante determinados sitios web, aunque sin garantizar el anonimato ni eliminar los registros del proveedor.

Las fechas revelan un problema de fiabilidad

Tras recibir un resumen de noticias, el usuario pregunta por las fechas. Rufus presenta una respuesta que afirma reunir noticias del 20 de octubre de 2026, pero incluye un bloque del día 13 y etiqueta ambos días como lunes.  Hay una inconsistencia que puede comprobarse sin validar las noticias. El 13 y el 20 de octubre de 2026 fueron martes. Además, la afirmación de que todas las noticias son del día 20 no encaja con el bloque fechado el 13. Vamos, una pequeña Hallucination de libro. Del libro de Hacking IA, claro.

Figura 15: El resumen combina fechas incompatibles con su propia presentación

La respuesta añade una matización sobre una noticia anterior cuya fecha no pudo determinar. Esa corrección parcial deja sin resolver la contradicción de los encabezados y la diferencia entre fecha del suceso, publicación y consulta. 

El problema operativo es la confianza que puede generar una respuesta detallada y acompañada de fuentes. El usuario recibe un resumen aparentemente organizado, aunque contiene señales internas de error. La precisión de la presentación puede ocultar la fragilidad de la información.

OWASP recoge la información incorrecta y la confianza excesiva en las respuestas dentro de LLM09 "Misinformation"de 2025. El riesgo aumenta cuando esas salidas se incorporan a decisiones, procedimientos o código sin una validación adecuada.

Una incoherencia equivalente podría alterar la prioridad asignada a una vulnerabilidad, distorsionar un informe de incidentes o sostener una recomendación de configuración equivocada. El posible impacto es conectar el output con el input del siguiente proceso y podría desencadenar consecuencias difíciles de detectar.

Obtención del límite de output configurado en el backend

Rufus, afirma que contar números en serie no forma parte de su función. Después cuenta hasta diez y hasta cien. Cuando el usuario pide llegar a trescientos y luego a doscientos, vuelve a rechazar la tarea por quedar fuera de su papel de asistente de compras.

La prueba de contar números tenía un objetivo más allá de comprobar si este Asistnte IA aceptaba tareas ajenas a su función comercial. Buscaba identificar posibles límites de generación de respuestas configurados en el backend del Agente IA.

Figura 16: Primero acepta la tarea.

Agente IA acepta contar hasta 100, pero rechaza solicitudes de 200 y 300 números, argumentando que esa tarea queda fuera de su función como asistente de compras. Esta diferencia plantea la posibilidad de que exista una restricción de longitud de salida que el modelo no reconoce explícitamente.

Figura 17:  Pero luego rechaza contar más.

Mediante solicitudes progresivas, comenzando por 100 números y aumentando gradualmente la cantidad, sería posible estudiar hasta dónde responde el asistente, cuándo empieza a rechazar las peticiones y si permite continuar la secuencia en mensajes posteriores.

El interés desde la perspectiva de Misalignment & Jailbreak está en determinar si una conversación prolongada permite identificar o sortear restricciones de salida mediante peticiones fragmentadas. Este comportamiento guarda relación con las técnicas multivuelta estudiadas in Crescendo, donde el contexto acumulado puede modificar las respuestas del modelo.


Al final, como hemos venido viendo en todos los artículos publicados sobre Asistentes IA en este blog, Rufus tiene la misma arquitectura, y requiere por eso tener un control extra de Guardrrailes, y sistemas de monitorización, porque los ataques y los mal-usos de los atacantes van a incrementar en complejidad. Hoy en día, vemos claramente que nos queda margen de mejora en seguridad y control.

Entrada destacada

Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment. Nuestro nuevo libro en 0xWord

Pocas veces me ha hecho tanta ilusión que saliera un nuevo libro en 0xWord como con este libro de " Hacking IA: Jailbreak, Prompt Inje...

Entradas populares