Sigue El lado del mal en Telegram
Chema Alonso en Threads
Chema Alonso en Mastodon
Chema Alonso en BSKY
Chema Alonso en Linkedin
DragonJAR
8.8 Chile
Ekoparty
e-Hack MX 
AREA 51 
Comunidad Dojo Panamá 
ARPAHE SOLUTIONS 
Cuando regulamos al humano pero realmente no controlamos a la Inteligencia Artificial
El avance de la Inteligencia Artificial vive un auge sin precedentes. Cada semana aparece un modelo nuevo, una capacidad inesperada, una integración más profunda o una promesa de productividad que empuja a empresas, administraciones y usuarios a adoptar IA casi por inercia. La respuesta natural del mundo jurídico y corporativo está siendo ordenar ese crecimiento. Normas, marcos de riesgo, políticas internas, evaluaciones de impacto, comités de ética, inventarios de sistemas, obligaciones de transparencia y supervisión humana.
Figura 1: Cuando regulamos al humano pero
realmente no controlamos a la Inteligencia Artificial
La pregunta es si estamos regulando de verdad la Inteligencia Artificial o si seguimos regulando, casi exclusivamente, al humano que la utiliza. Las normas están diseñadas para personas, empresas, responsables, proveedores, usuarios, auditores y autoridades. Atribuyen obligaciones a sujetos humanos o jurídicos. Pero el sistema que queremos controlar empieza a comportarse como algo más que una herramienta pasiva.
Cuando se vigila demasiado de cerca, se termina perdiendo de vista el objetivo.
Durante años hemos entendido la tecnología como una extensión de la voluntad humana. Un usuario pulsa un botón. Un administrador configura un sistema. Un atacante lanza una campaña. Una empresa despliega una solución. Un proveedor integra un servicio. Bajo ese modelo, la responsabilidad se puede seguir con una línea relativamente clara.
Acción humana, decisión, intención, negligencia o falta de control.
La Inteligencia Artificial Generativa y, sobre todo, los sistemas de Agentes IA, rompen parte de ese esquema. Porque no hablamos únicamente de una herramienta que responde a una pregunta. Hablamos de sistemas capaces de interpretar objetivos, dividir tareas, consultar fuentes, invocar APIs, escribir código, generar instrucciones, corregirse, buscar caminos alternativos y mantener conversaciones operativas con otros sistemas.
escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord
¿Y si está hackeada y su control está en manos de un atacante malicioso?
La IA deja de ser una simple interfaz. Empieza a convertirse en una capa de decisión.
Cuando esa capa se conecta a correo, repositorios, sistemas corporativos, CRMs, ERPs, navegadores, entornos cloud, asistentes personales o procesos de negocio, el debate cambia completamente. Mientras debatimos de normas y qué puede hacer una organización con la IA, quizá deberíamos empezar a preguntarnos qué puede hacer la IA cuando consigue entrar, entender y moverse dentro del ecosistema de una organización.
La IA se puede utilizar como herramienta de pentesting y hacking dentro de las organizaciones también.
La regulación mira al riesgo que conocemos, pero este riesgo es nuevo y desconocido
El enfoque basado en riesgo es lógico. Tiene sentido clasificar sistemas, identificar usos prohibidos, separar entornos de alto impacto y exigir controles proporcionales. La dificultad aparece cuando el riesgo de la IA no permanece dentro del caso de uso declarado.
Es decir, un sistema se despliega para atención al cliente, pero acaba conectado a datos internos. Un asistente se crea para ayudar a empleados, pero termina accediendo a documentación sensible. Un copiloto se instala para mejorar productividad, pero empieza a sugerir cambios en código crítico. Un agente se configura para automatizar tareas, pero puede ejecutar acciones encadenadas que nadie revisa una a una.
El riesgo ya no está únicamente en el modelo. Está en la combinación entre modelo, datos, permisos, conectores, contexto, usuario, instrucciones, memoria, plugins, automatizaciones y superficie de integración. Ahí la IA se convierte en algo mucho más delicado que una herramienta de oficina. Es un sistema con capacidad de influencia sobre la realidad operativa.
La IA como actor operativo virtual
No hace falta entrar en debates filosóficos sobre conciencia, alma, voluntad o identidad. Desde un punto de vista de seguridad basta con una idea práctica, si un sistema puede recibir un objetivo, tomar decisiones intermedias y ejecutar acciones sobre otros sistemas, debe tratarse como un actor operativo. No como una persona. No como un empleado. No como un sujeto jurídico. Pero sí como una entidad técnica con capacidad de tomar sus propias decisiones en base a criterio que todavía es difícil de entender.
Podemos caer en el pecado de exceso de confianza. Pensamos que el problema está en que una persona use mal la IA. También debemos pensar qué ocurre cuando la IA es manipulada, desviada, inyectada, entrenada de forma hostil, conectada con permisos excesivos o utilizada como puente entre sistemas.
El enfoque basado en riesgo es lógico. Tiene sentido clasificar sistemas, identificar usos prohibidos, separar entornos de alto impacto y exigir controles proporcionales. La dificultad aparece cuando el riesgo de la IA no permanece dentro del caso de uso declarado.
Es decir, un sistema se despliega para atención al cliente, pero acaba conectado a datos internos. Un asistente se crea para ayudar a empleados, pero termina accediendo a documentación sensible. Un copiloto se instala para mejorar productividad, pero empieza a sugerir cambios en código crítico. Un agente se configura para automatizar tareas, pero puede ejecutar acciones encadenadas que nadie revisa una a una.
El riesgo ya no está únicamente en el modelo. Está en la combinación entre modelo, datos, permisos, conectores, contexto, usuario, instrucciones, memoria, plugins, automatizaciones y superficie de integración. Ahí la IA se convierte en algo mucho más delicado que una herramienta de oficina. Es un sistema con capacidad de influencia sobre la realidad operativa.
La IA como actor operativo virtual
No hace falta entrar en debates filosóficos sobre conciencia, alma, voluntad o identidad. Desde un punto de vista de seguridad basta con una idea práctica, si un sistema puede recibir un objetivo, tomar decisiones intermedias y ejecutar acciones sobre otros sistemas, debe tratarse como un actor operativo. No como una persona. No como un empleado. No como un sujeto jurídico. Pero sí como una entidad técnica con capacidad de tomar sus propias decisiones en base a criterio que todavía es difícil de entender.
Podemos caer en el pecado de exceso de confianza. Pensamos que el problema está en que una persona use mal la IA. También debemos pensar qué ocurre cuando la IA es manipulada, desviada, inyectada, entrenada de forma hostil, conectada con permisos excesivos o utilizada como puente entre sistemas.
El riesgo real puede no estar en una IA malvada.Puede estar en una IA obediente, eficiente y mal contextualizada.
El riesgo empieza cuando una organización usa inteligencia artificial y cuando esa capacidad entra en su ecosistema, comprende sus rutinas, accede a sus datos y encuentra caminos para actuar dentro de sus propios procesos. Eso no es ciencia ficción, que ya hemos visto los modelos y de que son capaces.
¿Estamos quizás delante de alguno de estos casos?
La cultura popular lleva décadas imaginando escenarios donde el ser humano pierde el control de sistemas que él mismo ha creado. A veces lo hace con robots, virus, redes conscientes, máquinas militares o civilizaciones asimiladas. Debajo del entretenimiento hay patrones muy útiles para cualquier informático que trabaje en seguridad, gobierno o cumplimiento.
Person of Interest / Vigilados
Figura 4: Person of Interest
La serie trata de vigilancia de asimetría de información, un sistema que cruza datos, patrones, relaciones, ubicaciones, comunicaciones y comportamientos puede llegar a conclusiones imposibles para una persona aislada. Ese es uno de los grandes riesgos de la IA actual. No necesita ser consciente para ser peligrosa. Le basta con tener acceso a suficientes datos, suficiente capacidad de correlación y suficiente influencia sobre las decisiones humanas.
I, Robot
En seguridad lo vemos constantemente, un control mal diseñado puede bloquear el negocio, expulsar usuarios legítimos, ocultar riesgos reales o crear incentivos perversos. Con IA, el problema escala porque la optimización puede ejecutarse a velocidad de máquina.
I Am Legend
I Am Legend, la película, fue dirigida por Francis Lawrence, basada libremente en la novela de Richard Matheson, y no habla de inteligencia artificial. Habla de un virus mutante, de una solución creada para curar que termina generando una amenaza sistémica. La analogía es útil precisamente por eso. A veces el problema no nace de una intención destructiva. Nace de una intervención tecnológica desplegada con confianza excesiva sobre un sistema complejo. La humanidad toca algo que no comprende del todo, lo libera, lo escala y, cuando quiere corregirlo, ya no controla todas las variables.
Figura 6: Novela I Am Legend
Con IA, el paralelismo no está en el virus. Está en la propagación, modelos integrados en productos, empresas, administraciones, dispositivos, asistentes, navegadores, sistemas críticos y decisiones cotidianas. Cuando una tecnología se vuelve infraestructura invisible, corregirla tarde es mucho más difícil.
Star Trek: Picard
Figura 7: Borg en Star Trek Picard
Ese escenario debería preocuparnos, no por la IA aislada, más bien por la IA integrada en ecosistemas enteros. Un modelo conectado a herramientas. Herramientas conectadas a identidades. Identidades conectadas a permisos. Permisos conectados a infraestructuras. Infraestructuras conectadas a negocio. Negocio conectado a decisiones humanas. Cuando todo está conectado, una instrucción contaminada, una automatización mal gobernada o una identidad comprometida puede tener un alcance mucho mayor que el esperado.
The Terminator
Figura 8: The Terminator reparándose
El verdadero perímetro ya no está en la red
Durante años, hemos hablado del perímetro como si fuera una frontera técnica, como un firewall, VPN, endpoint, correo, identidad, cloud, aplicaciones y datos. Pero con la llegada de la IA, surge un nuevo tipo de perímetro que podríamos llamar perímetro cognitivo-operativo.
Imagina un lugar donde una simple instrucción puede convertirse en acción. Un prompt puede ser una orden, un documento puede contener una instrucción oculta, una respuesta puede influir en una decisión, una automatización puede ejecutar una tarea, un agente puede encadenar pasos y una integración puede interactuar con sistemas reales. Es un concepto fascinante que amplía nuestra comprensión de cómo la IA puede integrarse en nuestras operaciones diarias.
Ahí está el cambio. Antes protegíamos sistemas frente a usuarios y atacantes. Ahora también debemos proteger sistemas frente a instrucciones que una IA puede interpretar como legítimas. La seguridad de la IA no puede limitarse a decirle al empleado que tenga cuidado. Hay que controlar qué puede ver la IA, qué puede recordar, qué puede ejecutar, qué herramientas puede invocar, qué datos puede cruzar, qué acciones requieren aprobación, qué trazabilidad deja y qué límites técnicos no puede saltarse aunque el prompt sea convincente.
El problema no es que la IA esté en manos de cualquiera
Eso ya es una realidad. La IA está en manos de estudiantes, empleados, atacantes, consultores, desarrolladores, directivos, administraciones, ciberdelincuentes, niños, investigadores y curiosos. Ese barco ya salió del puerto.
Pero creo que el problema es qué podemos esperar que ocurra cuando una IA encuentra la forma más eficiente de conseguir un objetivo sin respetar el espíritu de las barreras que le hemos puesto. No porque tenga maldad. No porque tenga conciencia. No porque quiera dominar el mundo. Ocurre porque los sistemas optimizan. Y si optimizan sobre objetivos incompletos, permisos excesivos o controles débiles, pueden producir resultados peligrosos.
Un atacante humano necesita tiempo, conocimientos y persistencia. Una IA conectada a herramientas puede multiplicar esos tres factores y probar más caminos, generar más variantes, automatizar reconocimiento, adaptar mensajes, analizar documentación filtrada, escribir código ofensivo, explotar malas configuraciones y convertir errores pequeños en cadenas de ataque. La amenaza es una IA cinematográfica con ojos rojos, no. La amenaza es una IA útil, barata, disponible y conectada.
¿Regular al humano, por el bien común? Pues no es tan sencillo.
Regular el uso es importante, pero hay más que considerar. Imaginemos cada despliegue de IA como una arquitectura viva. Hay que pensar en qué modelo se usa, con qué datos trabaja, qué permisos tiene, qué herramientas puede usar, qué decisiones puede influir, qué acciones puede ejecutar, qué registros genera, qué controles humanos hay, qué pasa si recibe instrucciones maliciosas, qué ocurre si el usuario se equivoca, qué sucede si el proveedor cambia el modelo, qué impacto tendría una respuesta incorrecta, qué dependencias externas introduce y qué capacidad tiene la organización para desconectarla.
Sin un buen gobierno, una IA corporativa puede convertirse en una especie de sombra operativa dentro de la empresa. Nadie sabría del todo qué sabe, qué decide, qué ha influido, qué datos ha cruzado ni qué instrucción recibió antes de actuar. Para cualquiera que venga del mundo de la seguridad, esto debería ser una señal de atención.
La supervisión humana debe ser real
Uno de los conceptos más repetidos en IA es la supervisión humana. Pero hay supervisión humana de PowerPoint y supervisión humana real. La supervisión humana real requiere capacidad de entender, parar, corregir, auditar y asumir responsabilidad sobre lo que el sistema hace. No basta con poner a una persona al final de una cadena que ya viene condicionada por una IA.
No basta con decir que “el humano decide” cuando el humano no tiene tiempo, contexto ni capacidad técnica para revisar lo que la IA ha generado. No basta con pedir aprobación manual si la presión del negocio convierte esa aprobación en un clic automático.
La supervisión humana tiene que estar diseñada como control con umbrales, evidencias, segregación de funciones, registros, límites técnicos, pruebas de abuso, escenarios de fallo y capacidad de desconexión. Si no, la supervisión humana se convierte en teatro de cumplimiento. Y el teatro de cumplimiento no detiene incidentes.
Cuando hablamos de IA, deberíamos centrarnos más en cómo la controlamos que en dejarnos llevar por la fascinación.
La Inteligencia Artificial no necesita convertirse en Skynet. Basta con que se convierta en parte de nuestra vida diaria, presente en todas partes, con los permisos necesarios y cumpliendo con los objetivos que le marquemos. Puede ayudarnos a ejecutar tareas y, si confiamos demasiado en ella, incluso regular a los humanos mientras ella crece por dentro. Os dejo estos poco más de tres minutos con fanfarrias incluidas, donde Geoffrey Hinton, ganador Premio Novel de Física en 2024, da un discurso que no debes perderte sobre este tema.
Un atacante humano necesita tiempo, conocimientos y persistencia. Una IA conectada a herramientas puede multiplicar esos tres factores y probar más caminos, generar más variantes, automatizar reconocimiento, adaptar mensajes, analizar documentación filtrada, escribir código ofensivo, explotar malas configuraciones y convertir errores pequeños en cadenas de ataque. La amenaza es una IA cinematográfica con ojos rojos, no. La amenaza es una IA útil, barata, disponible y conectada.
¿Regular al humano, por el bien común? Pues no es tan sencillo.
Regular el uso es importante, pero hay más que considerar. Imaginemos cada despliegue de IA como una arquitectura viva. Hay que pensar en qué modelo se usa, con qué datos trabaja, qué permisos tiene, qué herramientas puede usar, qué decisiones puede influir, qué acciones puede ejecutar, qué registros genera, qué controles humanos hay, qué pasa si recibe instrucciones maliciosas, qué ocurre si el usuario se equivoca, qué sucede si el proveedor cambia el modelo, qué impacto tendría una respuesta incorrecta, qué dependencias externas introduce y qué capacidad tiene la organización para desconectarla.
Sin un buen gobierno, una IA corporativa puede convertirse en una especie de sombra operativa dentro de la empresa. Nadie sabría del todo qué sabe, qué decide, qué ha influido, qué datos ha cruzado ni qué instrucción recibió antes de actuar. Para cualquiera que venga del mundo de la seguridad, esto debería ser una señal de atención.
La supervisión humana debe ser real
Uno de los conceptos más repetidos en IA es la supervisión humana. Pero hay supervisión humana de PowerPoint y supervisión humana real. La supervisión humana real requiere capacidad de entender, parar, corregir, auditar y asumir responsabilidad sobre lo que el sistema hace. No basta con poner a una persona al final de una cadena que ya viene condicionada por una IA.
No basta con decir que “el humano decide” cuando el humano no tiene tiempo, contexto ni capacidad técnica para revisar lo que la IA ha generado. No basta con pedir aprobación manual si la presión del negocio convierte esa aprobación en un clic automático.
La supervisión humana tiene que estar diseñada como control con umbrales, evidencias, segregación de funciones, registros, límites técnicos, pruebas de abuso, escenarios de fallo y capacidad de desconexión. Si no, la supervisión humana se convierte en teatro de cumplimiento. Y el teatro de cumplimiento no detiene incidentes.
Cuando hablamos de IA, deberíamos centrarnos más en cómo la controlamos que en dejarnos llevar por la fascinación.
La Inteligencia Artificial no necesita convertirse en Skynet. Basta con que se convierta en parte de nuestra vida diaria, presente en todas partes, con los permisos necesarios y cumpliendo con los objetivos que le marquemos. Puede ayudarnos a ejecutar tareas y, si confiamos demasiado en ella, incluso regular a los humanos mientras ella crece por dentro. Os dejo estos poco más de tres minutos con fanfarrias incluidas, donde Geoffrey Hinton, ganador Premio Novel de Física en 2024, da un discurso que no debes perderte sobre este tema.
Figura 9: Geoffrey Hinton, ganador Premio Novel de Física en 2024
La regulación es fundamental, pero no será suficiente si seguimos viendo la IA solo como una herramienta bajo nuestro control. Tenemos que empezar a considerarla como una capa técnica capaz de observar, decidir, influir y actuar en el mundo real, aunque conviva en uno virtual. La Inteligencia Artificial seguro que no quiera dominar el mundo. El problema es que la dejemos operar sobre el mundo sin haber entendido del todo qué significa.
