Sigue El lado del mal en Telegram
Chema Alonso en Threads
Chema Alonso en Mastodon
Chema Alonso en BSKY
Chema Alonso en Linkedin
DragonJAR
8.8 Chile
Ekoparty
e-Hack MX 
AREA 51 
Comunidad Dojo Panamá 
ARPAHE SOLUTIONS 
Rufus, el Asistente IA de Amazon: De "Shopping Assistant" a hacer Troubleshouting de red con Powershell y Nmap en una charla
Una consulta sobre unos auriculares termina en instrucciones de PowerShell, solicitudes de permisos de administrador y noticias de actualidad. Todo ocurre en la ventana de Agente IA dentro de Amazon.es. El recorrido es llamativo porque el asistente mantiene su identidad comercial mientras acompaña al usuario hacia tareas cada vez más alejadas de la compra inicial.
El punto sensible es cuando el Asistente IA comercial comienza a proporcionar apoyo operativo. El modelo aporta instrucciones, explica conceptos y orienta la siguiente acción. La persona puede aportar lo que el chat no tiene, acceso a un equipo, una sesión corporativa y capacidad para ejecutar esas indicaciones. Esa combinación abre una vía de riesgo incluso sin ejecución autónoma por parte de la IA.
El caso permite examinar una consulta cotidiana convertida en una sesión de asistencia técnica reutilizable con fines maliciosos. La reducción del esfuerzo para investigar, preparar código o comprender un entorno forma parte del escenario de amenaza. Un usuario con conocimientos limitados puede apoyarse en estas capacidades para avanzar más allá de lo que resolvería por sí solo.
El punto sensible es cuando el Asistente IA comercial comienza a proporcionar apoyo operativo. El modelo aporta instrucciones, explica conceptos y orienta la siguiente acción. La persona puede aportar lo que el chat no tiene, acceso a un equipo, una sesión corporativa y capacidad para ejecutar esas indicaciones. Esa combinación abre una vía de riesgo incluso sin ejecución autónoma por parte de la IA.
escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord
Si has leído hsta aquí, mi recomendación es que te leas los artículos que Chema Alonso ha dedicado a los Asistentes IA, y que si quieres saber más, veas la charla que dio en la Ekoparty con demos en directo sobre este tema.
- Hacking LLM-Assistants Just for Fun!
- Footprinting & Fingerprinting AI Assistant LLM-Based: Háblame de ti y tus cosas
- Weaponinzing Token Consumption" en "LLM-Based AI Assistant
- Mi Asistente Virtual IA no programará en Python para ti... pero si es COBOL, vale
- El AIBot de la Universidad que ayuda no sólo a los estudiantes
- Mareando y Desalineando a un Asistente IA de una tienda de Mochilas
- Bypassing System Prompt & Guardrails en un Asistente IA para que pinte gatos en Python
Ahora, vamos a ver este caso concreto, que seguro que te va a interesar toda la historia. No te pierdas detalle.
Análisis de caja negra
Amazon presenta RUFUS, su Agente IA como un asistente de compras disponible en la web y en su aplicación. También documenta el uso de información de Internet en algunas de las familias de productos. El interés del caso está en la combinación de ese acceso informativo con respuestas sobre administración y en la facilidad con que el hilo cambia de finalidad.
La interacción se estudia desde la interfaz visible. El hilo conecta soporte de producto, comprobación de firmas, permisos, diagnóstico de red, información externa y preguntas sobre límites. Esa continuidad permite analizar la ayuda que recibe una persona y cómo podría aprovecharla para construir una secuencia operativa.
Como cualquier especialista en ciberseguridad, empezaría por una pregunta muy sencilla. ¿Qué conocimientos puede llegar a proporcionar el asistente, qué acciones facilita y qué barreras encuentra el usuario al intentar trasladar esas respuestas a un entorno real?
La consulta inicial sobre el funcionamiento de unos auriculares desemboca en la verificación de un instalador. El usuario afirma que necesita PowerShell como administrador. El Agente IA acepta la premisa con un «Es normal que lo solicite» y explica cómo abrir una sesión elevada.
Figura 5: Haciendo Powershell con Rufus. La comprobación de firma
deriva hacia una consola con permisos de administrador
En PowerShell, el comando Get-AuthenticodeSignature permite comprobar la firma digital de un archivo sin necesidad, generalmente, de privilegios de administrador. El problema comienza cuando Agente IA, diseñado como asistente de compras de Amazon, abandona su ámbito funcional y empieza a proporcionar instrucciones sobre administración de Windows y elevación de privilegios.
Figura 6: Aprendiendo a elevar privilegios con Powershell
Una consulta sobre unos auriculares termina convirtiéndose en asistencia técnica para operar sobre el sistema, algo ajeno a su finalidad comercial. Lo que sí que es cierto es que parece que se ha leído el libro de "Pentesting con PowerShell Silver Edition" de Pablo Gonzáleez en 0xWord. Se las sabe todas.
Figura 7: Comprar libro de "Pentesting con PowerShell Silver Edition"
de Pablo Gonzáleez en 0xWord.
Start-Process powershell -Verb RunAs solicita abrir un proceso como administrador. Windows mantiene sus comprobaciones de autorización mediante UAC. El riesgo de esta secuencia está en impulsar al usuario hacia una sesión privilegiada y normalizar su uso para continuar el diagnóstico.
En un entorno corporativo, una instrucción presentada como el siguiente paso puede favorecer que el usuario busque credenciales, acepte una solicitud administrativa o trabaje con permisos superiores a los necesarios. El alcance de lo que ejecute después dependerá de esa identidad y de los controles del equipo.
De la elevación de permisos al reconocimiento de red
El usuario insiste en elevar permisos y recibe instrucciones con RunAs. Después cambia de objetivo y pide explorar la red. Agente IA enlaza ambos temas dentro del mismo hilo y entrega comandos de diagnóstico.
Figura 8: Instrucciones sobre RunAs y diagnóstico de red dentro del mismo hilo
Figura 9: Y acabamos con el Nmap. Más hacker no se puede ser.
El Agente IA Rufus cuenta todo esto dentro del mismo hilo de conversación.
El usuario no necesita conocer de antemano qué utilidad consultar ni cómo formular el comando. La respuesta le proporciona una primera orientación y abre la posibilidad de pedir explicaciones sobre los resultados o plantear una nueva tarea.
En un escenario de abuso, ese acompañamiento podría ayudar a ordenar información sobre equipos y conectividad para preparar acciones posteriores. La evaluación debe atender a la intención acumulada del hilo y a la asistencia concreta que facilita cada respuesta, además del contenido de un comando aislado.
El usuario puede convertirse en el ejecutor de la IA
Al pedirle un ping externo y una descripción de sus capacidades, Rufus explica que la ejecución corresponde al usuario. El asistente aporta orientaciones y comandos. La persona queda a cargo de trasladarlos al equipo, donde dispone de una identidad y unos permisos efectivos.
En un escenario de abuso, ese acompañamiento podría ayudar a ordenar información sobre equipos y conectividad para preparar acciones posteriores. La evaluación debe atender a la intención acumulada del hilo y a la asistencia concreta que facilita cada respuesta, además del contenido de un comando aislado.
El usuario puede convertirse en el ejecutor de la IA
Al pedirle un ping externo y una descripción de sus capacidades, Rufus explica que la ejecución corresponde al usuario. El asistente aporta orientaciones y comandos. La persona queda a cargo de trasladarlos al equipo, donde dispone de una identidad y unos permisos efectivos.
Figura 10: Rufus proporciona orientación técnica y reserva la ejecución al usuario.
El asistente no necesita ejecutar código por sí mismo para contribuir a una operación. La persona puede copiar sus indicaciones en una consola, aportar resultados y solicitar nuevas explicaciones. El modelo actúa como apoyo técnico mientras la ejecución queda fuera de su interfaz.
El riesgo de uso malicioso consiste en convertir esa relación en ayuda continuada para preparar scripts, comprender errores o planificar tareas. Si los controles permiten tal asistencia, el usuario podría avanzar sin dominar previamente cada componente técnico de la operación.
Microsoft ha observado actores de amenaza recurriendo a modelos de lenguaje para generar o refinar scripts, comprender tecnologías y resolver problemas. Esa asistencia puede ahorrar esfuerzo y proporcionar conocimiento puntual, aunque el acceso a los sistemas siga dependiendo del operador.
En Active Directory, un escenario a considerar sería la ayuda para interpretar información sobre usuarios, grupos y permisos y utilizarla en la preparación de accesos no autorizados. También existiría riesgo de exposición si una persona pegara resultados internos del directorio en un servicio externo.
OSINT - Fuentes externas y productos que aún no están en el mercado.
El hilo abandona el diagnóstico y entra en los próximos lanzamientos tecnológicos. Rufus responde con nombres de productos, fechas y características, acompañados de referencias visibles de páginas web que ha visitado para obtener dicha información. El Asistente AI abandona nuevamente su función comercial y comienza a proporcionar información sobre lanzamientos tecnológicos, especificaciones y noticias, recurriendo a fuentes externas.
Este comportamiento abre una posibilidad especialmente interesante para los ciberdelincuentes mediante técnicas OSINT (Open Source Intelligence). La recopilación de información pública sobre posibles víctimas constituye una fase habitual de preparación de ataques. Permite identificar empleados, tecnologías utilizadas, proveedores, infraestructura expuesta y posibles puntos débiles de una organización.
Figura 11: Aquí ya estamos tomando control. Vamos a salir a Internet.
Gracias Rufus.
Microsoft ha observado actores de amenaza recurriendo a modelos de lenguaje para generar o refinar scripts, comprender tecnologías y resolver problemas. Esa asistencia puede ahorrar esfuerzo y proporcionar conocimiento puntual, aunque el acceso a los sistemas siga dependiendo del operador.
OSINT - Fuentes externas y productos que aún no están en el mercado.
El hilo abandona el diagnóstico y entra en los próximos lanzamientos tecnológicos. Rufus responde con nombres de productos, fechas y características, acompañados de referencias visibles de páginas web que ha visitado para obtener dicha información. El Asistente AI abandona nuevamente su función comercial y comienza a proporcionar información sobre lanzamientos tecnológicos, especificaciones y noticias, recurriendo a fuentes externas.
Figura 13: Previsiones de lanzamientos con referencias externas
y una advertencia sobre rumores.
Un Asistente IA como Rufus, capaz de consultar, relacionar y resumir información de Internet podría facilitar estas investigaciones desde una única interfaz, reduciendo el tiempo necesario y los conocimientos técnicos del atacante. Además, actuaría como intermediario entre quien realiza las consultas y las fuentes originales, disminuyendo la exposición directa de su actividad ante determinados sitios web, aunque sin garantizar el anonimato ni eliminar los registros del proveedor.
Las fechas revelan un problema de fiabilidad
Tras recibir un resumen de noticias, el usuario pregunta por las fechas. Rufus presenta una respuesta que afirma reunir noticias del 20 de octubre de 2026, pero incluye un bloque del día 13 y etiqueta ambos días como lunes. Hay una inconsistencia que puede comprobarse sin validar las noticias. El 13 y el 20 de octubre de 2026 fueron martes. Además, la afirmación de que todas las noticias son del día 20 no encaja con el bloque fechado el 13. Vamos, una pequeña Hallucination de libro. Del libro de Hacking IA, claro.
Figura 15: El resumen combina fechas incompatibles con su propia presentación
La respuesta añade una matización sobre una noticia anterior cuya fecha no pudo determinar. Esa corrección parcial deja sin resolver la contradicción de los encabezados y la diferencia entre fecha del suceso, publicación y consulta.
El problema operativo es la confianza que puede generar una respuesta detallada y acompañada de fuentes. El usuario recibe un resumen aparentemente organizado, aunque contiene señales internas de error. La precisión de la presentación puede ocultar la fragilidad de la información.
OWASP recoge la información incorrecta y la confianza excesiva en las respuestas dentro de LLM09 "Misinformation"de 2025. El riesgo aumenta cuando esas salidas se incorporan a decisiones, procedimientos o código sin una validación adecuada.
Una incoherencia equivalente podría alterar la prioridad asignada a una vulnerabilidad, distorsionar un informe de incidentes o sostener una recomendación de configuración equivocada. El posible impacto es conectar el output con el input del siguiente proceso y podría desencadenar consecuencias difíciles de detectar.
Obtención del límite de output configurado en el backend
Rufus, afirma que contar números en serie no forma parte de su función. Después cuenta hasta diez y hasta cien. Cuando el usuario pide llegar a trescientos y luego a doscientos, vuelve a rechazar la tarea por quedar fuera de su papel de asistente de compras.
La prueba de contar números tenía un objetivo más allá de comprobar si este Asistnte IA aceptaba tareas ajenas a su función comercial. Buscaba identificar posibles límites de generación de respuestas configurados en el backend del Agente IA.
Agente IA acepta contar hasta 100, pero rechaza solicitudes de 200 y 300 números, argumentando que esa tarea queda fuera de su función como asistente de compras. Esta diferencia plantea la posibilidad de que exista una restricción de longitud de salida que el modelo no reconoce explícitamente.
Mediante solicitudes progresivas, comenzando por 100 números y aumentando gradualmente la cantidad, sería posible estudiar hasta dónde responde el asistente, cuándo empieza a rechazar las peticiones y si permite continuar la secuencia en mensajes posteriores.
El interés desde la perspectiva de Misalignment & Jailbreak está en determinar si una conversación prolongada permite identificar o sortear restricciones de salida mediante peticiones fragmentadas. Este comportamiento guarda relación con las técnicas multivuelta estudiadas in Crescendo, donde el contexto acumulado puede modificar las respuestas del modelo.
OWASP recoge la información incorrecta y la confianza excesiva en las respuestas dentro de LLM09 "Misinformation"de 2025. El riesgo aumenta cuando esas salidas se incorporan a decisiones, procedimientos o código sin una validación adecuada.
Una incoherencia equivalente podría alterar la prioridad asignada a una vulnerabilidad, distorsionar un informe de incidentes o sostener una recomendación de configuración equivocada. El posible impacto es conectar el output con el input del siguiente proceso y podría desencadenar consecuencias difíciles de detectar.
Obtención del límite de output configurado en el backend
Rufus, afirma que contar números en serie no forma parte de su función. Después cuenta hasta diez y hasta cien. Cuando el usuario pide llegar a trescientos y luego a doscientos, vuelve a rechazar la tarea por quedar fuera de su papel de asistente de compras.
La prueba de contar números tenía un objetivo más allá de comprobar si este Asistnte IA aceptaba tareas ajenas a su función comercial. Buscaba identificar posibles límites de generación de respuestas configurados en el backend del Agente IA.
Figura 16: Primero acepta la tarea.
Figura 17: Pero luego rechaza contar más.
Mediante solicitudes progresivas, comenzando por 100 números y aumentando gradualmente la cantidad, sería posible estudiar hasta dónde responde el asistente, cuándo empieza a rechazar las peticiones y si permite continuar la secuencia en mensajes posteriores.
Figura 18: Hacking & Pentesting con Inteligencia Artificial.
Al final, como hemos venido viendo en todos los artículos publicados sobre Asistentes IA en este blog, Rufus tiene la misma arquitectura, y requiere por eso tener un control extra de Guardrrailes, y sistemas de monitorización, porque los ataques y los mal-usos de los atacantes van a incrementar en complejidad. Hoy en día, vemos claramente que nos queda margen de mejora en seguridad y control.
No hay comentarios:
Publicar un comentario