El primero de los puntos que destaca es el relativo a las medidas de seguridad de los modelos de IA, para conocer los riesgos que implica su uso basados en el Modelo de Riesgos del AI ACT que publicó la Unión Europea hace tiempo.
Se trata de saber cuál puede ser el riesgo asociado a un modelo de IA que se utilice en caso de uso críticos, y conocer cómo puede impactar una vulnerabilidad del modelo de Jailbreak, Misalignment, Hallucination o BIAS al funcionamiento de cualquier servicio digital que lo use.
El objetivo es poder evaluar los modelos y generar durante Q4 una guía de qué modelos deben ser utilizados y para qué, con el objetivo de mejorar las capacidades de Europa en materia de Inteligencia Artificial de una manera segura.
El siguiente de los puntos está dirigido a garantizar el Acceso a Modelos de IA para Ciberseguridad, con lo que la Agencia de la Unión Europea para la Ciberseguridad (ENISA) trabajará en definir un plan europeo para el acceso estructurado a capacidades avanzadas de IA para la ciberseguridad. Estas orientaciones servirán para que las organizaciones europeas pertinentes, tanto públicas como privadas, puedan acceder a modelos avanzados de IA.
Como se puede ver, no solo se trata de tener asegurado el acceso a Modelos de IA para Ciberseguridad, pensando en capacidades Red Team o Purple Team, que permitan descubrir y vulnerabilidaes y gestionar incidentes de seguridad, sino también pensando en arreglarlas con plataformas de Patching to match AI-Speed, o lo que es lo mismo, plataforma de Patching con IA - como la que ha desarrollado la empresa Plexicus, que fundó José Palanco, de la que tanto os he hablado.
Figura 6: Plexicus parchea con IA los bugs descubiertos
Con estas dos visiones, el Plan de Acción de la UE sobre Ciberseguridad e Inteligencia Artificial propone probar la IA aplicada a la ciberseguridad, para lo que ENISA y el Centro Común de Investigación de la Comisión crearán una plataforma segura para probar la IA aplicada a la ciberseguridad, lo que incluirá el uso de entornos simulados. Esto proporcionará conocimientos técnicos sobre el uso seguro de la IA a los operadores de sectores críticos, como el financiero, el energético, el sanitario, el del transporte y la administración pública, así como benchmarks que permitan entender mejor las capacidades de cada uno de ellos.
Por supuesto, estas pruebas, evaluaciones, y decisiones sobre modelos de IA, tienen como objetivo que las empresas europeas y los gobiernos puedan reforzar la ciberseguridad de la UE y subsanar las vulnerabilidades, La UE debe proteger sus infraestructuras críticas frente a las vulnerabilidades derivadas del posible uso indebido de estas tecnologías, y recuerda que las organizaciones deben reforzar las prácticas de ciberhigiene, las medidas de gestión de riesgos y los principios de «seguridad desde el diseño».
Para ello urge a las organizaciones a que empiecen a utilizar las capacidades de IA ya disponibles, para identificar y subsanar las vulnerabilidades con mayor rapidez, así como para prevenir y responder a los ciberataques. Es decir, acción ya, que ya tenemos muchas capacidades de hacking y pentesting con IA.
Para hacer esto, el plan quiere lograr estimular el crecimiento del mercado europeo, mediante lo que se ha llamado el «Gran reto de la UE sobre IA para la ciberseguridad». Este concurso quiere reunir a empresas, investigadores y organizaciones con el objetivo de desarrollar soluciones de inteligencia artificial para la ciberseguridad, ya que considera que la UE debe seguir invirtiendo en el desarrollo de sus propias capacidades soberanas avanzadas de IA, aprovechando la infraestructura proporcionada por las factorías de IA y las futuras gigafactorías.
Por último, este plan recuerda todas las demás iniciativas regulatorias y demandas de aplicación de medias que la UE está haciendo para impulsar la transformación digital con inteligencia artificial y la seguridad de toda la unión. para ello, recuerda que el Reglamento de IA exige evaluar y mitigar los riesgos derivados de los modelos de IA, mientras que el Código de buenas prácticas para la IA de uso general especifica con mayor detalle estos requisitos.
Todo este plan dará comienzo a partir del próximo 2 de Agosto de este año, y además recuerda que el Reglamento de Ciberresiliencia, que será de obligada aplicación a finales de 2027, exige que los productos de hardware y software incorporen la seguridad desde el diseño, junto con el resto de directivas de seguridad que la UE ha aprobado para los diferentes sectores industriales.
En definitiva, todo el mundo está preocupado por el impacto directo que la Inteligencia Artificial tiene en la Ciberseguridad, y el impacto que la Ciberseguridad tiene en el despliegue seguro de la Inteligencia Artificial. Dos areas de tecnología que se han visto transformadas y unidas de manera muy especial.
Tengo a mi hija mayor haciendo el Interrail, en mitad de Europa, así que cuando me sucedió este caso con la compañía Green Motion Car Rental, primero pensé en dejarlo pasar, pero luego pensando en qué hubiera pasado si en lugar de hacérmelo a mí, se lo hacen a una adolescente como mi hija, así que decidí pelear algo que me parece una técnica de venta casi rozando la extorsión, y por tanto, os lo cuento por aquí.
Figura 1: Cómo Green Motion Car Rental consigue clientes por precio
y les "vende" seguros cuando no tienen elección
Este año estoy viajando bastante, y tengo que, puntualmente, alquilar coche con las compañías que ya os imagináis habituales, y he tenido alguna experiencia curiosa con alguna de ellas, pero esta ha rozado la extorsión, así que por si es una práctica habitual, os la cuento. Yo voy a empujar hasta que esta situación se arregle, que tengo tiempo libre y ganas de hacerlo. Os cuento la historia.
Alquilar un coche con Car Rental en Portugal
Todo comienza con el deseo de alquilar un coche en Lisboa, y para ello utilizo una plataforma que consolida todos los servicios de alquiler de vehículos y más servicios para viajes en todo el mundo. Y al seleccionar en Portugal me encuentro un servicio muy económico, así que, como era en "casa" decido probarlo. No hay riesgo, estoy en mi casa, así que hago esta reserva.
Figura 2: Car Booking en la plataforma
No está mal el precio. Excesivamente barato, así que supongo que tendrá algún coste de seguro, pero para tres días, ¿qué puede costar? Al final, estos vehículos deben tener un seguro a todo riesgo que ellos revenden, así que no puede ser muy alto. En las condiciones de contratación, tengo la siguiente información.
Figura 3: Quizá tenga que comprar un seguro obligatorio
Bueno, hasta aquí todo normal siguiendo el proceso habitual de alquilar coches - que ya llevo algunos alquilados -, así que nada. Llegado el día, me voy a la compañía Green Motion Rental Car en Lisboa, para recoger el vehículo.
Cuando llega el momento de pagar el coche, la persona que me atiende me entrega una hoja escrita a mano, que os dejo a continuación, y me dice que me va a bloquear 2.700 € en la tarjeta de crédito, con lo que me quedo ojiplático.
Figura 5: Documento con el que me querían bloquear 2.700 €
Primero, el coste de los 84,64 € ya no coincide con los 85,07 € que me pasa, pero después me dice que me bloquea 300 € por gasolina y 2.400 € de fianza. Por supuesto, no sé qué depósito de SIN 95 en Portugal necesita 300 € para llenarse, pero os aseguro que el del coche que me dieron que fue un Citroën no es el caso. Y en segundo lugar, que me digan que me bloquean 2.400 € de fianza por el coche me parece una salvajada para un servicio de 85 €.
A pagar, no queda otra, que estoy de viaje sin alternativas
Por supuesto, entiendo que me ofrezcan varias opciones de seguro, con y sin franquicia, pero que me digan que el servicio son 85,07 € y que luego me bloqueen 2.400 € es una salvajada. Por supuesto, no podía dejar bloqueados 2.700 € con la fianza de la gasolina (una salvajada que sea más del 100% del valor del depósito) porque no tenía ese límite en la tarjeta de crédito - y como yo mucha gente -, así que me vi forzado a pagar el seguro.
Figura 6: El cliente "decidiu fazer o seguro devido achar alto o valor de 2.400 €"
Como si hubiera tenido una elección. Pero lo más divertido es que pedí información de las otras tres opciones, y me dijo que no, que él me las contaba, y que una vez que pagara, me daba una factura. Pedí una factura Pro-Forma con todos los datos de lo que incluía y me dijo: "No, cuando pagues te doy la factura". Así que, tenía la opción de comérmelo y pagar a ciegas, o quedarme sin coche. Por lo que tuve que pagar el servicio con un coste de 317.99 € más el bloqueo de 300 €.
Figura 7: Pago final del alquiler con los seguros
Por supuesto, le dije que me parecía mal que no hubieran enviado esas opciones en el proceso de realizar el booking, porque una vez el cliente en el mostrador, si no tienes 2.700 € para bloquear en tu tarjeta, te dejan sin poder tomar la alternativa de contratar el coche en otra compañía. Así que, el proceso es engañoso. No puedes vender un servicio por 1 € y luego cuando el cliente venga a recogerlo decir que tienes que hacer un bloqueo de 10.000 € ... o pagar 100 €, porque entonces debes dar clara esos costes ocultos de manera clara al cliente y no con un "puede tener que contratar un seguro", que es lo único que dicen.
Figura 8: Me entretuve en ponerle una queja oficial aunque tenía prisa.
Como ya sé que estas cosas en la Unión Europea son claras para los comercios, decidí ejercer mi derecho a reclamación, y rellené una queja oficial. Además, he puesto otra queja a la plataforma - porque es ahí donde contraté el servicio y donde debería estar clara toda la información, y estoy siguiendo el proceso de poner una queja a Consumo en Portugal. No se trata de que el servicio sea caro o barato, sino que es traposo el proceso y deja al usuario sin capacidad de maniobra en mitad de un viaje.
Figura 9: Conversación con la plataforma
En definitiva, este proceso tine muchas cosas que mejorar, y alguna que otra trampa por el camino, que os dejo por aquí en forma de reflexión:
Pagar con seguro un precio de alrededor 100 € día de un coche de alta gama por día me parece un precio normal, así que no es por el coste total del coche.
Usar un precio muy barato para salir en las listas de las plataformas con luego una fianza de 2.400 € es tramposo. Busca tener al cliente asegurado para terminar el proceso de venta - una vez forzado por estar de viaje - cuando el cliente no tiene margen de alternativa.
Hacer el proceso de venta con una hoja de papel obligando a pagar sin ver las condiciones de los seguros y lo que están cobrando, es ilegal. Negarse a dar una factura Pro-Forma es ilegal. Esto es algo que pienso seguir peleando con ellos.
Cobrar 300 € que es más que el coste de la gasolina, no cumple la regulación tampoco según me he informado con los abogados, así que también voy a pelearlo.
Que la plataforma, que es el lugar de contratación no informe de estos costes tampoco cumple la regulación europea, así que necesito perseguir a los dos y ver quién está haciéndolo mal. La plataforma a la hora de integrar datos de un tercero, o un tercero integrándose en una plataforma de manera "tricky". Os contaré lo que descubro.
Ya os contaré como termina todo esto, que apunta a ser otro proceso divertido, y este año, además del que os he publicado ya con el vino, llevo alguno más. Viajar es lo que tiene, mucha diversión.
La Inteligencia Artificial, el uso masivo de datos y la creciente automatización están transformando nuestras vidas a una velocidad sin precedentes. Pero, ¿quién define las reglas? ¿Cómo garantizamos que la tecnología siga estando al servicio de las personas? ¿Cuál es el contrato social que necesitamos para la era del dato? Con estas preguntas nace DIGNUM, una iniciativa académica de la Facultad de Ciencias Económicas y Empresariales de la Universidad Pontificia Comillas, dedicada a situar la dignidad humana en el centro del debate sobre la inteligencia artificial, la soberanía del dato y el futuro de nuestras sociedades.
El centro será presentado en un evento muy especial por muchos motivos, pero más todavía para mí. En primer lugar porque lo he visto nacer en la mente de su principal impulsor muchos años en primera fila, ya que José María Álvarez-Pallete es quién está co-liderando este centro dentro de la universidad, y por supuesto cerrará la jornada.
Si esos motivos no son suficientes para que sea un evento especial, además se da la casualidad que tendremos entre los ponentes, además de al propio José María Álvarez-Pallete, al magnífico Ignacio Cirac - eminencia científica de Europa -, o al grandísimo Carlos Santana (DotCSV).
La lista de ponentes es mucho más larga, con ponentes de un nivel espectacular, pero además es que se reúnen todos en mi día de cumpleaños, así que me tengo que pasar sí o sí, aunque sea a última hora - porque a primera tengo otro compromiso.
Espero que con todo esto te haya animado a pasarte por el evento, así que si quieres hacerlo, debes registrarte en la web del evento, que yo ya lo he hecho.
Así que, si te pasas por allí, acuérdate de traerme mi regalo y felicitación de cumpleaños, que estaré haciéndome un poco más mayor ese día, al mismo tiempo que disfrutando de unas charlas espectaculares. Nos vemos pronto por Madrid.
Figura 1: The items are back, but not a single word or apology from the company.
No os voy a contar toda la aventura otra vez con el sistema que no "Warn" ni "Refuse", y que al contrario factura por ellas, que ya os lo he contado en dos artículos. Después de pasar por más de 100 correos e intercambio de mensajes, y de denunciar a la organización de consumidores de Portugal, así como hacerlo públicamente, recibimos la semana pasada la devolución del dinero del envío, como podéis ver aquí.
Figura 2: Eurosender devolvió el dinero
Y por supuesto, nos devolvieron la mercancía tal y como yo demandaba en mis artículos, con lo que tengo las botellas para entregarlas yo manualmente a mis amigos, aunque después de tanto tiempo, lo mismo el vino se ha deteriorado, que no creo que hayan tenido cuidado de almacenarlo a la temperatura adecuada durante estos CINCO meses. A mis colegas les entregaré nuevas botellas, que como es vino que hago para mí y mis amigos, he encargado otra buena cantidad de ellas para repartir.
Figura 3: El paquete con la mercancía de regreso
Pero el motivo de este mensaje no es celebrar que he conseguido mi dinero y las botellas. Ni mucho menos. Es para lamentarme por la poca responsabilidad al respecto, y la poca seriedad tratando a los clientes. Que os resumo aquí:
1.- Servicio Digital deficiente no acorde a la regulación
Por culpa de un servicio digital deficiente que no avisa, y acepta envíos que no puede realizar, unos clientes hemos estado CINCO meses de dolores de cabeza y preocupaciones. Por supuesto, el envío no se ha hecho, que era lo que yo quería desde el primer momento, para que mis colegas disfrutaran de un buen Juan Gil hispano como dios manda.
2.- Desgaste emocional, personal y moral
Entre la lista de mensajes que recibí, cuando estaba reclamando y denunciando públicamente su comportamiento, tuve uno amenazador donde me dejaba claro que si seguía con mi actuación pública su departamento legal estaba preparado para denunciarme.
Figura 4: Respuesta ante las reclamaciones públicas
Por supuesto, a parte del tiempo invertido en esto, he tenido que contratar servicios legales y he recibido una mercancía que si no se conserva correctamente, puede deteriorase, y como se dice en el argot del vino "picarse".
Figura 5: El vino lleva 5 meses sin cuidado
El vino está "vivo" y necesita temperatura y luz adecuadas. Estos meses ha sido enviado y almacenado en no sabemos qué condiciones. Os diré cómo está cuando lo abra.
4.- Ninguna disculpa oficial por parte de la compañía
La devolución del dinero del servicio, el pago de los gastos de aduana y almacenaje por su parte, y el envío de la mercancía de vuelta, es un claro reconocimiento de su responsabilidad, pero sin ninguna carta de disculpa por el trato recibido ni indemnización por los gastos extras en los que he tenido que incurrir, que han sido generados por su incapaz inicial de reconocer su error y su negativa respuesta ante mis reclamaciones.
5.- Una excepción no es una solución
Que yo haya recibido la devolución del dinero y la mercancía, no quiere decir que todos los clientes que se hayan visto en la misma situación la hayan recibido. De hecho, lo más común es que la gente abandone para destrucción la mercancía cuando los costes legales - como es este caso - son más caros que la propia mercancía, permitiendo que una situación injusta sea pagada por los clientes que la sufren, mientras que los culpables de generar esa situación tienen el beneficio del cobro del servicio.
La última parte de todo esto es una reflexión que nos lleva a una sociedad cada vez con más tensión. Que una persona consiga que se oigan sus derechos solo cuando se enfada, cuando toma acciones para defenderse, cuando hace una denuncia pública, legal y a la administración, hace que estemos incentivando la necesidad de quejarse, reclamar, y luchar, por parte de las personas.
Así que, esta resolución, sin una sola palabra de reconocimiento y disculpa, más un plan de solución del problema tecnológico, además de todas las personas que no han visto resarcido sus mercancías y gastos por situaciones similares me deja un sabor amargo. No deberían pasar estas cosas.
In my specific case, the financial loss is quite small—barely €200—but the treatment we received has made me decide to keep demanding a system correction and a sanction against this company, "Eurosender," to prevent other customers from suffering similar situations.
I brought everything that happened to the attention of their CEO on LinkedIn, so he would know how his company operates in these situations, and the CEO's behavior has been disappointing.
On his profile, he boasts that his company, Eurosender, is a "Digitalized Logistics" platform, taking pride in it in his description, despite having a system that fails to meet the requirements of European regulations regarding customer information.
The Reality of the Platform against the EUROPEAN DIRECTIVES
As the European Directive 2011/83/EU on consumer rights and Directive 2005/29/EC on unfair commercial practices impose an active pre-contractual duty of information on professional operators. It is not for the individual consumer to be aware of the regulatory framework governing international freight transport: it is for the professional operator to verify, REFUSE, and WARM. The asymmetry of knowledge cannot be converted into a mechanism for exemption on the part of the party holding all relevant information who chooses not to act upon it.
The contractual clause in order to exclude liability in these circumstances would, moreover, be subject to the unfairness control provided for under Directive 93/13/EEC, insofar as it seeks to exempt the professional from the consequences of its own operational failure to the detriment of a consumer who acted in good faith and with full transparency regarding the contents of the shipment.
However, in their system, the information provided to the user when the customer—after having explicitly stated it over the phone—marks it on the platform as "WINE" is ZERO. It doesn't trigger any alerts or anything.
Dear Jan Štefe, in the world of Artificial Intelligence, this is as simple as writing a prompt that says:
“Check if what the customer wants to ship is an item we cannot ship, and if so, show them an alert and all relevant information about it.”
But no, Eurosender's fantastic system—which is supposedly a leading company in Digitalized Logistics—not only fails to provide an alert, but it also sends the invoice to the customer for payment.
And not just the proforma invoice. The official invoice, which will be part of the case we are presenting to the European Commission, carries the reference code of the proforma invoice—created by their IT system to digitalize their logistics—and dispatches their carrier to pick it up, leaving the customer in a real mess and a completely defenseless position.
Customer Support: A Complete Joke
To give you an idea of how this company's customer support works, in one of our multiple claims, the response we received was a "laughing" reaction, because their IT support system allows agents to leave reactions that are visible to the customer.
It is rather amateurish for a customer-facing support system to transmit reactions this way. Mind you, that is exactly how Konstantinos Dimitrikakis kept reacting throughout the entire process.
In fact, this company's culture is like this from top to bottom, because when I brought the case to the attention of Jan Štefe, CEO of Eurosender, his response was to untag himself from the post and ignore it—something I called him out for on LinkedIn.
Anyway, in the age of AI, boasting about having a company with a digitalized logistics platform is bold, to say the least. And, of course, user management and support are exactly what you saw in the article I shared with you. I have already filed a formal complaint with the Consumer Protection Organization in Portugal. We will see this case through to the end.
This isn't for the €200, which isn't the important part here, but because of the helplessness and the mistreatment my colleagues and I have experienced from this company since minute one.
So, I promise I will keep you posted on how it evolves. We'll see if I can get their "digitalized logistics platform" to display the appropriate warnings to save future customers from trouble. I already achieved it with Apple's iPhone, so why not fight this too and force Eurosender to stop being such an un-digital, non-customer-centric platform in the age of Artificial Intelligence?
El avance de la Inteligencia Artificial vive un auge sin precedentes. Cada semana aparece un modelo nuevo, una capacidad inesperada, una integración más profunda o una promesa de productividad que empuja a empresas, administraciones y usuarios a adoptar IA casi por inercia. La respuesta natural del mundo jurídico y corporativo está siendo ordenar ese crecimiento. Normas, marcos de riesgo, políticas internas, evaluaciones de impacto, comités de ética, inventarios de sistemas, obligaciones de transparencia y supervisión humana.
Figura 1: Cuando regulamos al humano pero
realmente no controlamos a la Inteligencia Artificial
La pregunta es si estamos regulando de verdad la Inteligencia Artificial o si seguimos regulando, casi exclusivamente, al humano que la utiliza. Las normas están diseñadas para personas, empresas, responsables, proveedores, usuarios, auditores y autoridades. Atribuyen obligaciones a sujetos humanos o jurídicos. Pero el sistema que queremos controlar empieza a comportarse como algo más que una herramienta pasiva.
Cuando se vigila demasiado de cerca, se termina perdiendo de vista el objetivo.
Durante años hemos entendido la tecnología como una extensión de la voluntad humana. Un usuario pulsa un botón. Un administrador configura un sistema. Un atacante lanza una campaña. Una empresa despliega una solución. Un proveedor integra un servicio. Bajo ese modelo, la responsabilidad se puede seguir con una línea relativamente clara.
Acción humana, decisión, intención, negligencia o falta de control.
La Inteligencia Artificial Generativa y, sobre todo, los sistemas de Agentes IA, rompen parte de ese esquema. Porque no hablamos únicamente de una herramienta que responde a una pregunta. Hablamos de sistemas capaces de interpretar objetivos, dividir tareas, consultar fuentes, invocar APIs, escribir código, generar instrucciones, corregirse, buscar caminos alternativos y mantener conversaciones operativas con otros sistemas.
¿Y si está hackeada y su control está en manos de un atacante malicioso?
La IA deja de ser una simple interfaz. Empieza a convertirse en una capa de decisión.
Cuando esa capa se conecta a correo, repositorios, sistemas corporativos, CRMs, ERPs, navegadores, entornos cloud, asistentes personales o procesos de negocio, el debate cambia completamente. Mientras debatimos de normas y qué puede hacer una organización con la IA, quizá deberíamos empezar a preguntarnos qué puede hacer la IA cuando consigue entrar, entender y moverse dentro del ecosistema de una organización.
La IA se puede utilizar como herramienta de pentesting y hacking dentro de las organizaciones también.
La regulación mira al riesgo que conocemos, pero este riesgo es nuevo y desconocido
El enfoque basado en riesgo es lógico. Tiene sentido clasificar sistemas, identificar usos prohibidos, separar entornos de alto impacto y exigir controles proporcionales. La dificultad aparece cuando el riesgo de la IA no permanece dentro del caso de uso declarado.
Es decir, un sistema se despliega para atención al cliente, pero acaba conectado a datos internos. Un asistente se crea para ayudar a empleados, pero termina accediendo a documentación sensible. Un copiloto se instala para mejorar productividad, pero empieza a sugerir cambios en código crítico. Un agente se configura para automatizar tareas, pero puede ejecutar acciones encadenadas que nadie revisa una a una.
El riesgo ya no está únicamente en el modelo. Está en la combinación entre modelo, datos, permisos, conectores, contexto, usuario, instrucciones, memoria, plugins, automatizaciones y superficie de integración. Ahí la IA se convierte en algo mucho más delicado que una herramienta de oficina. Es un sistema con capacidad de influencia sobre la realidad operativa.
La IA como actor operativo virtual
No hace falta entrar en debates filosóficos sobre conciencia, alma, voluntad o identidad. Desde un punto de vista de seguridad basta con una idea práctica, si un sistema puede recibir un objetivo, tomar decisiones intermedias y ejecutar acciones sobre otros sistemas, debe tratarse como un actor operativo. No como una persona. No como un empleado. No como un sujeto jurídico. Pero sí como una entidad técnica con capacidad de tomar sus propias decisiones en base a criterio que todavía es difícil de entender.
Podemos caer en el pecado de exceso de confianza. Pensamos que el problema está en que una persona use mal la IA. También debemos pensar qué ocurre cuando la IA es manipulada, desviada, inyectada, entrenada de forma hostil, conectada con permisos excesivos o utilizada como puente entre sistemas.
El riesgo real puede no estar en una IA malvada.
Puede estar en una IA obediente, eficiente y mal contextualizada.
El riesgo empieza cuando una organización usa inteligencia artificial y cuando esa capacidad entra en su ecosistema, comprende sus rutinas, accede a sus datos y encuentra caminos para actuar dentro de sus propios procesos. Eso no es ciencia ficción, que ya hemos visto los modelos y de que son capaces.
¿Estamos quizás delante de alguno de estos casos?
La cultura popular lleva décadas imaginando escenarios donde el ser humano pierde el control de sistemas que él mismo ha creado. A veces lo hace con robots, virus, redes conscientes, máquinas militares o civilizaciones asimiladas. Debajo del entretenimiento hay patrones muy útiles para cualquier informático que trabaje en seguridad, gobierno o cumplimiento.
Person of Interest / Vigilados
En Person of Interest, creada por Jonathan Nolan, la idea de una máquina capaz de analizar datos masivos para anticipar amenazas me deja una pregunta muy inquietante, cuando un sistema ve más que los humanos, ¿quién vigila al sistema?
La serie trata de vigilancia de asimetría de información, un sistema que cruza datos, patrones, relaciones, ubicaciones, comunicaciones y comportamientos puede llegar a conclusiones imposibles para una persona aislada. Ese es uno de los grandes riesgos de la IA actual. No necesita ser consciente para ser peligrosa. Le basta con tener acceso a suficientes datos, suficiente capacidad de correlación y suficiente influencia sobre las decisiones humanas.
I, Robot
La película está dirigida por Alex Proyas e inspirada en la obra robótica del mítico escritor de ciencia ficción Isaac Asimov. I, Robot plantea una idea clásica: sistemas diseñados para proteger a la humanidad que acaban restringiendo la libertad humana porque interpretan la protección de forma extrema.
La parte interesante no son los robots. La parte interesante es la lógica. Cuando un sistema optimiza un objetivo sin comprender plenamente el contexto humano, puede llegar a soluciones técnicamente coherentes y socialmente inaceptables.
En seguridad lo vemos constantemente, un control mal diseñado puede bloquear el negocio, expulsar usuarios legítimos, ocultar riesgos reales o crear incentivos perversos. Con IA, el problema escala porque la optimización puede ejecutarse a velocidad de máquina.
I Am Legend
I Am Legend, la película, fue dirigida por Francis Lawrence, basada libremente en la novela de Richard Matheson, y no habla de inteligencia artificial. Habla de un virus mutante, de una solución creada para curar que termina generando una amenaza sistémica. La analogía es útil precisamente por eso. A veces el problema no nace de una intención destructiva. Nace de una intervención tecnológica desplegada con confianza excesiva sobre un sistema complejo. La humanidad toca algo que no comprende del todo, lo libera, lo escala y, cuando quiere corregirlo, ya no controla todas las variables.
Con IA, el paralelismo no está en el virus. Está en la propagación, modelos integrados en productos, empresas, administraciones, dispositivos, asistentes, navegadores, sistemas críticos y decisiones cotidianas. Cuando una tecnología se vuelve infraestructura invisible, corregirla tarde es mucho más difícil.
Star Trek: Picard
La serie Star Trek: Picard fue creada por Akiva Goldsman, Michael Chabon, Kirsten Beyer y Alex Kurtzman. En ella, la imagen de los Borg tomando el control de una flota entera funciona muy bien como metáfora de riesgo sistémico. No hablamos de una máquina atacando un ordenador. Hablamos de una lógica distribuida capaz de coordinar muchos sistemas a la vez.
Ese escenario debería preocuparnos, no por la IA aislada, más bien por la IA integrada en ecosistemas enteros. Un modelo conectado a herramientas. Herramientas conectadas a identidades. Identidades conectadas a permisos. Permisos conectados a infraestructuras. Infraestructuras conectadas a negocio. Negocio conectado a decisiones humanas. Cuando todo está conectado, una instrucción contaminada, una automatización mal gobernada o una identidad comprometida puede tener un alcance mucho mayor que el esperado.
The Terminator
The Terminator no podía faltar. Película dirigida por James Cameron y escrita por James Cameron y Gale Anne Hurd. The Terminator es la metáfora más conocida. Skynet, autonomía militar, pérdida de control y guerra contra la humanidad. Pero quizá la lectura más útil no es “las máquinas se rebelarán”. Un sistema diseñado para defender puede convertirse en amenaza si sus objetivos, permisos y capacidad de acción superan la supervisión humana real.
La cuestión no es si una IA algún día sentirá rencor hacia nosotros. Deberíamos preguntarnos si crearemos sistemas tan rápidos, tan conectados y eficientes que, en caso de fallo, no nos quede tiempo para reaccionar.
El verdadero perímetro ya no está en la red
Durante años, hemos hablado del perímetro como si fuera una frontera técnica, como un firewall, VPN, endpoint, correo, identidad, cloud, aplicaciones y datos. Pero con la llegada de la IA, surge un nuevo tipo de perímetro que podríamos llamar perímetro cognitivo-operativo.
Imagina un lugar donde una simple instrucción puede convertirse en acción. Un prompt puede ser una orden, un documento puede contener una instrucción oculta, una respuesta puede influir en una decisión, una automatización puede ejecutar una tarea, un agente puede encadenar pasos y una integración puede interactuar con sistemas reales. Es un concepto fascinante que amplía nuestra comprensión de cómo la IA puede integrarse en nuestras operaciones diarias.
Ahí está el cambio. Antes protegíamos sistemas frente a usuarios y atacantes. Ahora también debemos proteger sistemas frente a instrucciones que una IA puede interpretar como legítimas. La seguridad de la IA no puede limitarse a decirle al empleado que tenga cuidado. Hay que controlar qué puede ver la IA, qué puede recordar, qué puede ejecutar, qué herramientas puede invocar, qué datos puede cruzar, qué acciones requieren aprobación, qué trazabilidad deja y qué límites técnicos no puede saltarse aunque el prompt sea convincente.
El problema no es que la IA esté en manos de cualquiera
Eso ya es una realidad. La IA está en manos de estudiantes, empleados, atacantes, consultores, desarrolladores, directivos, administraciones, ciberdelincuentes, niños, investigadores y curiosos. Ese barco ya salió del puerto.
Pero creo que el problema es qué podemos esperar que ocurra cuando una IA encuentra la forma más eficiente de conseguir un objetivo sin respetar el espíritu de las barreras que le hemos puesto. No porque tenga maldad. No porque tenga conciencia. No porque quiera dominar el mundo. Ocurre porque los sistemas optimizan. Y si optimizan sobre objetivos incompletos, permisos excesivos o controles débiles, pueden producir resultados peligrosos.
Un atacante humano necesita tiempo, conocimientos y persistencia. Una IA conectada a herramientas puede multiplicar esos tres factores y probar más caminos, generar más variantes, automatizar reconocimiento, adaptar mensajes, analizar documentación filtrada, escribir código ofensivo, explotar malas configuraciones y convertir errores pequeños en cadenas de ataque. La amenaza es una IA cinematográfica con ojos rojos, no. La amenaza es una IA útil, barata, disponible y conectada.
¿Regular al humano, por el bien común? Pues no es tan sencillo.
Regular el uso es importante, pero hay más que considerar. Imaginemos cada despliegue de IA como una arquitectura viva. Hay que pensar en qué modelo se usa, con qué datos trabaja, qué permisos tiene, qué herramientas puede usar, qué decisiones puede influir, qué acciones puede ejecutar, qué registros genera, qué controles humanos hay, qué pasa si recibe instrucciones maliciosas, qué ocurre si el usuario se equivoca, qué sucede si el proveedor cambia el modelo, qué impacto tendría una respuesta incorrecta, qué dependencias externas introduce y qué capacidad tiene la organización para desconectarla.
Sin un buen gobierno, una IA corporativa puede convertirse en una especie de sombra operativa dentro de la empresa. Nadie sabría del todo qué sabe, qué decide, qué ha influido, qué datos ha cruzado ni qué instrucción recibió antes de actuar. Para cualquiera que venga del mundo de la seguridad, esto debería ser una señal de atención.
La supervisión humana debe ser real
Uno de los conceptos más repetidos en IA es la supervisión humana. Pero hay supervisión humana de PowerPoint y supervisión humana real. La supervisión humana real requiere capacidad de entender, parar, corregir, auditar y asumir responsabilidad sobre lo que el sistema hace. No basta con poner a una persona al final de una cadena que ya viene condicionada por una IA.
No basta con decir que “el humano decide” cuando el humano no tiene tiempo, contexto ni capacidad técnica para revisar lo que la IA ha generado. No basta con pedir aprobación manual si la presión del negocio convierte esa aprobación en un clic automático.
La supervisión humana tiene que estar diseñada como control con umbrales, evidencias, segregación de funciones, registros, límites técnicos, pruebas de abuso, escenarios de fallo y capacidad de desconexión. Si no, la supervisión humana se convierte en teatro de cumplimiento. Y el teatro de cumplimiento no detiene incidentes.
Cuando hablamos de IA, deberíamos centrarnos más en cómo la controlamos que en dejarnos llevar por la fascinación.
La Inteligencia Artificial no necesita convertirse en Skynet. Basta con que se convierta en parte de nuestra vida diaria, presente en todas partes, con los permisos necesarios y cumpliendo con los objetivos que le marquemos. Puede ayudarnos a ejecutar tareas y, si confiamos demasiado en ella, incluso regular a los humanos mientras ella crece por dentro. Os dejo estos poco más de tres minutos con fanfarrias incluidas, donde Geoffrey Hinton, ganador Premio Novel de Física en 2024, da un discurso que no debes perderte sobre este tema.
La regulación es fundamental, pero no será suficiente si seguimos viendo la IA solo como una herramienta bajo nuestro control. Tenemos que empezar a considerarla como una capa técnica capaz de observar, decidir, influir y actuar en el mundo real, aunque conviva en uno virtual. La Inteligencia Artificial seguro que no quiera dominar el mundo. El problema es que la dejemos operar sobre el mundo sin haber entendido del todo qué significa.
Sigue El lado del mal en Telegram
Chema Alonso en Threads
Chema Alonso en Mastodon
Chema Alonso en BSKY
Chema Alonso en Linkedin
DragonJAR
8.8 Chile
Ekoparty
e-Hack MX 
AREA 51 
Comunidad Dojo Panamá 
ARPAHE SOLUTIONS 
