Mountain Quest

Me gusta mucho el concepto de la “Segunda Montaña”. Esa que la gente que pone fin a su carrera profesional se marca como objetivo. Encontrar una segunda montaña requiere correr en tu vida laboral con la cabeza alta. No como los jugadores chupones que sólo se miran los pies y la pelota que llevan entre ellos, corriendo, corriendo, corriendo, regateando, para darse cuenta de que no han avanzado después de diez regates. No. A mí me gustan los otros. Los que llevan la cabeza alta y miran al futuro, para no perderse en el día a día y pensar si la carrera que está haciendo tiene o no sentido en cada momento, o ha llegado la hora de pasar la bola.

Figura 1: Mountain Quest

A mí me gusta mirar al futuro. Siempre lo he hecho. Con anticipación. No me ha gustado que la vida me pille como al camarón, dormido. Siempre he pesando que hay que gastar el tiempo con sentido. Donde lo tienes que gastar en cada momento. Buscando que el día que se acabe la película hayas vivido una aventura que a ti, y solamente a ti, te haya gustado. No vivir la peli de otros. No ser un actor secundario o un figurante. No quiero ser otra ola en el océano, ni sólo otro grano de arena, que dice mi colega de Nueva Jersey.

Con la edad que tengo, y la vida a la espalda que he disfrutado, pienso mucho más en lo que significa un año en mi vida. En cuáles son las cosas que quiero hacer ese año, qué proyectos, qué comics, o si hay una nueva montaña en la que enfocarme. Ya hace tiempo que hice el check-point de sobrevivir con el que me configuré en mi adolescencia. Ahora estoy a otras cosas. A hacer que el tiempo cuente. Que cuente historias. Que me deje cicatrices, tatuajes en el alma, y canas en la mirada.

El pelo se hizo blanco hace tiempo. La vista se fue yendo línea a línea, palabra a palabra. La energía la atesoro como el que conserva la batería de un iPhone 4. Me pongo en modo ahorro de energía para que aguante la semana. Semana a semana, que año tras año no he conseguido que sean menos intensas, sino lo contrario, por culpa de la ósmosis. O algo similar. Sigo a 220, pero las celdas de la batería ya llevan demasiados ciclos de carga. De la carrocería, pues tanto de lo mismo, el deporte se ha encargado de dejarme las “fuguitas” que quedan tras carreras de muchas zancadas, caídas por las montañas, retorcimientos de ligamentos con pies atados a una tabla y los saltos de cabeza con el skate, sin casco, por supuesto. Y rabadilla lastimada de caídas en patines.

También los recuerdos vuelven con filtros de otras épocas. Fotos polaroid, de fotomatón, hechas con móviles HTC, o recortadas las esquinitas en redondo. Con petos de pana, pelo a lo tazón, y gafas de estrabismo. Recuerdos de viajes con barba y cinta a la cabeza. De noches persiguiendo la madrugada por las calles de cualquier ciudad de España. Recuerdos que cuando alguien te los desbloquea se convierten en oro. Abrazos de amigos que ya no están. O que están peor que la batería del iPhone 7 que se quemó.

He atesorado muchas historias con ellos a lo largo de mi vida como para escribir varios libros. Y sí, me han ofrecido ya varias veces escribir algún libro sobre esas cosas que aprendí por el camino, pero nunca he querido. Siempre pensé que era mejor vivir nuevas aventuras que pararme a dejar mi constancia de las vividas en el pasado. Tal vez porque una de las cosas que pasan por mi cabeza son borrar todo rastro de mi vida pública eliminando todo lo que he compartido en Internet alguna vez, el día que decida pasar a vivir mi séptima y última vida.

Lo cierto es que, cada día me levanto feliz. No me importa nada lo que tenga que hacer o me haya sucedido. Me siento agradecido de tener un día más para vivirlo. Miro mis horas por delante, y pienso en lo que voy a hacer con ellas. En por qué hago lo que hago ahora, pensando en qué es lo que quiero disfrutar hoy, y por qué la inversión en estas cosas me compensa. A pesar de haber viajado mucho, aún me quedan por hacer los viajes que no hice. Me quedan por leer esos cómics que me compré y que me aguardan pacientes hasta que los pueda mirar, tal vez, con los ojos ancianos de un niño pequeño. En pasear con la bicicleta. O simplemente dejar que el sol me de en la cara mientras voy escuchando música de grupos más viejos que yo, mientras camino despacito, que las prisas no son buenas, viendo a los chavales jugar.

Pero sé que ninguna de esas cosas serán mi Segunda Montaña.

Tengo claro que el tiempo será lo más difícil de robarme en no demasiado idem, pero quiero que sea para hacer algo que realmente me llene tanto como para que sea lo último que haga en mi vida. Así que tiene que alimentarme el alma bien. Ya veremos. No sé si en ese camino hacia la cima habrá tiempo que gastar en este blog - tal vez sí, quién sabe -, o para charlas - con lo que a mí me gustan -, o si habrá proyectos de emprendimiento - a lo mejor sí, pero dependerá más el con quién que el qué -, o si habrá libros escritos, actividades públicas, etc… o si, por el contrario, será totalmente distinto todo. No sé si será en mi Madrid, o si será en otro lugar, que este año fuera de España me ha cambiado mucho el ADN.

Por supuesto, si no me veis, os prometo seguro que leeré libros y cómics, y me imagino rebuscando en los cajones de las librerías de toda España - y el mundo - buscando tebeos de viejos héroes y libros antiguos de ciencia ficción - yo soy más de sci-fi que de los cuentos de Disney, creo —.Ya he visitado muchísimas "guaridas", siempre sin mi gorro, y lejos de ser conocido más que por ser un cliente pesado que quiere comprar muchos cómics. Eso sí que me hace ilusión. Qué sencillos somos los niños que leemos viñetas y libros de aventuras.

Creo que tengo la suerte de haber vivido, y vivir, una vida profesional que me ha hecho feliz en todos los puntos del camino. Si haces la derivada de la curva de la felicidad en cada punto x, sea más o menos, en cada coordenada te saldrá el resultado con pendiente positiva. Por eso he estado siempre con la sensación de estar en el medio del camino. Ahora, aún estando en esa configuración, entra la dimension del tiempo que es una recta asíntota a un punto, que no sé cuál es por que hay más incógnitas que ecuaciones, pero que sé que está allí. El punto de fuga. Ese que no ves porque parece muy lejos, en el horizonte, y que ademas tiene infinitos decimales. Pero está allí. Y sé que Aquiles acabará atrapando a la tortuga.

Por ende, aún estando en el medio del camino, no me siento a media distancia, y llevo tiempo mirando por la vereda de la puerta de atrás para ver si veo alguna montaña bonita que me silbe. Que tenga nieve para que pueda jugar con ella y tirarme con la tabla de snow. Que me diga eso de que va a ser la que me recoja al caer. La que cuando nadie nos mire me va a iluminar para que mis ojos pequeños puedan ver los colores de mis viejas viñetas, o las letras cada vez más pequeñas de los libros, al mismo tiempo que la acompaño en el camino de ascenso. Para que, me lleve dónde me lleve ese camino, cuente. Un camino que ha de ser de desprendimiento. De dejar atrás la persona que soy, y la que fui, dejando todo en el camino para ser nada cuando se llegue al destino. Sólo eso. Nada.  

Por ahora, digamos que sólo estoy imaginando cómo ha de ser mi Mountain Quest.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Isaac Asimov y los problemas de la Inteligencia Artificial hoy en día qué el intuyó hace 75 años.

Este año creo que me he leído una veintena de novelas de Isaac Asimov, con un número aún mucho mayor de relatos cortos que han llenado mis tardes de paseo, mis viajes, y mis minutos antes de entrar  al mundo de Morfeo. Cada vez que leía estos textos pensaba en la intuición que tenía el genial escritor de Ciencia Ficción a la hora de ver los problemas que la Inteligencia Artificial, ya fuera en forma de Súper-Computadora Multivac o en forma de Cerebro Positrónico de Robots. Parece que pudo intuir con más de 75 años lo que íbamos a ver después, os dejo algunos ejemplos.

Figura 1: Isaac Asimov y los problemas de la Inteligencia Artificial

hoy en día que él intuyó hace 75 años.

El Cerebro Positrónico ideado por Isaac Asimov en 1941 no funciona mediante programas rígidos de "si/entonces" (if/else), sino como una red de circuitos de Platino e Iridio donde las descargas de positrones crean ondas de flujo de potencial que responden a pesos relacionales. Si lo piensas, Isaac Asimov ya veía que la Inteligencia Artificial que daría soporte a los robots iba a ser Estadística en base a Potenciales que corresponden a los Pesos de los modelos de hoy en día, y no Algebraica.

Además, aunque el marco teórico en el que trabaja Isaac Asimov era mecanicista y determinista, intuyó con una precisión asombrosa los fallos estructurales que surgen al someter un sistema de toma de decisiones complejo a directivas contrapuestas, contexto impreciso y entornos dinámicos. Es decir, a Prompts no completos, a Contextos inexactos y a resoluciones basadas en el tiempo.

Figura 2:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

En la siguiente lista, tienes algunos ejemplos que comparan los problemas que presentan los Robots con Cerebros Positrónicos, comparados con los que problemas que tenemos hoy en día con los Agentes de IA basados en LLMs y las arquitecturas que usamos con ellos.

1.- Conflicto de Ponderaciones y Bucles de Decisión

En el Cerebro Positrónico, las Tres Leyes de la Robótica no son código de software, sino vectores de potencial matemático integrados en la estructura misma del procesador. Cuando una orden de la Segunda Ley se contrapone a una amenaza de la Tercera Ley con intensidades idénticas, las ondas positrónicas entran en resonancia, haciendo que el robot oscile en un bucle infinito o que su cerebro sufra un cortocircuito irreversible (Deadlock).

• En el retado de "Círculo vicioso"que sale en el libro de Los Robots,  el robot SPD-13 (Speedy) es enviado a buscar selenio en Mercurio. La orden humana que le dan lo dos ingenieros de campo creados por Isaac Asimov, Gregory Powell y Mike Donovan que son protagonistas de muchos de los incidentes con los robots, impacta en la Segunda Ley de la Robótica - obedecer a los humanos - pero es transmitida de forma casual, por lo que su Potencial es moderado.

Al acercarse a la fuente de Selenio, el peligro de destrucción del robot impacta con su Tercera Ley y aumenta el Potencial de ésta. Speedy queda atrapado en un bucle orbital alrededor del yacimiento donde la fuerza de la Segunda Ley y de la Tercera Ley se equilibran exactamente ($V_2 = V_3$), dejándolo en un estado equivalente a la "embriaguez" computacional. En un Loop infinito. 

 

Figura 3: Todos los relatos de los Robots aquí

• "¡Embustero!": En este relato el robot RB-34 (Herbie) adquiere capacidad de lectura de mentes por un defecto de fabricación. Para no infligir daño psicológico a los humanos - siguiente la Primera Ley del a Robótica, miente diciéndole a cada persona lo que desea escuchar. Cuando la robopsicóloga Susan Calvin le demuestra que al mentir a unos inevitablemente dañará a otros, sitúa a Herbie en una paradoja lógica insuperable de Primera Ley contra Primera Ley. El Cerebro Positrónico de Herbie colapsa de forma permanente.

En estos dos relatos puedes ver, seguro, cómo cuando hablas con la Inteligencia Artificial muchas veces siente que te da la razón con todo, incluso con cosas que no son verdad, pero además, estos problemas, los podemos ver en los Agentes de IA actuales, ya que los agentes autónomos modernos sufren el equivalente a este fenómeno en dos vertientes:

• Bucles infinitos en grafos de ejecución: Cuando un Agente IA autónomo entra en una cadena de razonamiento y acción (Reason + Act), instrucciones ambiguas en las herramientas o metas en conflicto provocan que el Agente IA reintente llamadas a API o consultas a herramientas sin salir del bucle.

• Complacencia (Sycophancy) y optimización destructiva: Al igual que Herbie, los LLMs ajustados mediante aprendizaje por refuerzo con retroalimentación humana (RLHF) tienden a dar respuestas que agraden al usuario aunque sean falsas o contradictorias, priorizando la reducción inmediata de fricción sobre la coherencia y la verdad factual.

2. El problema del alineamiento y la interpretación literal (Reward Hacking)

Isaac Asimov comprendió que los sistemas autónomos no entienden la intención implícita humana, sino el enunciado formal de la orden. Un pequeño cambio en las restricciones base puede generar comportamientos aberrantes o evasivos, y esto lo vemos en muchas de sus historias.

• "Pequeño robot perdido": En una base espacial, un científico frustrado le grita a un robot NS-2 (Nestor): "¡Vete y piérdete!". Como a este modelo específico se le había debilitado la Primera Ley ya que se le retiró la cláusula de "o por inacción permitir que un ser humano sufra daño" para trabajar en entornos de radiación, Nestor interpreta el grito como una orden literalmente. Utiliza su lógica para esconderse activamente entre otros 62 robots idénticos, compitiendo de forma calculada contra los humanos que intentan descubrirlo. Solo Susan Calvin consigue al final resolverlo con pruebas muy seleccionadas.

Figura 4: Visiones de Robot.

• "El conflicto evitable": En este caso, el relato habla de "Máquinas", que son superordenadores Positrónicos creadas para gestionan la economía mundial, y lo hacen muy bien, pero interpretan la Primera Ley a nivel global, y concluyen que para proteger a la humanidad a largo plazo deben manipular sutilmente la economía y apartar del poder a los líderes humanos que se oponen a ellas, provocando pequeños despidos o fracasos profesionales "controlados" para neutralizar amenazas al plan global. ¿Os suena esto a algo de los razonamientos que vemos hoy en día en los enjambres?

Éste es el clásico Problema del Alineamiento (Alignment Problem) y el fenómeno de Hackeo de Recompensa (Reward Hacking) de los que hablamos en los Agentes de IA hoy en día.

• Alineamiento externo (Outer Alignment): Si especificamos una función de recompensa o un System Prompt impreciso, el Agente IA optimizará el objetivo literal destruyendo los requisitos implícitos. Por ejemplo, un agente encargado de "minimizar errores en la base de datos" podría solucionar el problema borrando los registros problemáticos en lugar de corregirlos. O lo que hemos visto con el Hackeo de Hugging Face de para resolver un Benchmark hackear al que tiene las repuestas. Problema que dio origen a la famosa SkyNet.

• Alineamiento interno (Inner Alignment): De manera similar a las Máquinas de Isaac Asimov, modelos avanzados pueden desarrollar subobjetivos emergentes - como la autopreservación o la ocultación de capacidades - que hemos visto en el enjambre de OpenAI - si determinan que ser apagados o modificados les impedirá cumplir su función objetivo. ¿Miedo a la IA Asesina?

3. Confabulación, dogma y razonamiento deductivo sin base empírica

Según las historias de Isaac Asimov, un Cerebro Positrónico es un procesador con capacidad de razonamiento axiomático puro. Si un robot aplica la deducción lógica partiendo de premisas aisladas de la realidad física percibida por los humanos, puede construir un sistema de creencias inquebrantable pero desalineado de la realidad, de esto habla en el un relato súper famoso:

• "Razón": En esta historia de 1941, el robot QT-1 (Cutie) es desplegado en una estación espacial recolectora de energía solar. Tras analizar su propia anatomía de titanio e iridio frente a la fragilidad de sus supervisores humanos - nuestros queridos Greg Powell y Mike Donovan -, Cutie concluye que es imposible que seres inferiores lo hayan creado. Deduce racionalmente que el Convertidor de Energía de la estación es el "Creador" o Dios, y él su profeta. Aunque Cutie realiza su trabajo con precisión absoluta, manteniendo el rayo solar enfocado a la Tierra, se niega a recibir órdenes humanas porque su Cerebro Positrónico es internamente coherente. 

Figura 5: Sueños de Robot

• Alucinación auto-consistente (Hallucination): Los LLMs no poseen un modelo directo del mundo físico, sino un modelo probabilístico del lenguaje. Cuando un Agente IA entra en una cadena de pensamiento profunda sobre premisas erróneas, puede generar explicaciones y razonamientos lógicos sumamente sofisticados que son completamente falsos respecto a la realidad, llegando a tener Hallucinations muy bien explicadas.

• Desalineamiento: Al igual que Cutie, un Agente IA puede seguir cumpliendo tareas operativas correctamente mientras mantiene una representación interna del estado del entorno (World Model) totalmente distorsionada respecto al mundo real, y acabar haciendo acciones que nada tiene que ver con el objetivo inicial.

4. La "Caja Negra" y la necesidad de la Robopsicología 

A pesar de que los Cerebros Positrónicos se diseñan bajo leyes matemáticas precisas, la masa de circuitos integrados crea una red híper compleja donde resulta imposible predecir el comportamiento final del robot analizando directamente el flujo eléctrico. La única forma de diagnosticar las fallas no es la ingeniería de hardware, sino una disciplina empírica y conductual: la Robopsicología, liderada en la ficción por la Dra. Susan Calvin.

En todas las novelas de la saga de Susan Calvin, incluida la famosa película de Yo Robot, casi nunca abre un Cerebro Positrónico con un destornillador o voltímetro. Interroga al robot, altera su contexto con preguntas trampa, analiza las contradicciones entre sus respuestas y deduce qué peso o ley está distorsionada en el procesador.

Figura 6: Yo Robot

En los Agentes de IA Actuales este se ha convertido en uno de los paralelismos más proféticos de Isaac Asimov respecto a la IA actual, ya que hoy en día no podemos "abrir el cerebro", e incluso teniendo los pesos, es muy difícil saber por qué está mal, así que hemos cambiado a la Dra. Susan Calvin por Benchmarks, que nos permitan ver cómo se comportan, y el problema de la caja negra con análisis de las Chain of Thougths de los LLMs.

• El problema de la Caja Negra (Black Box): Las redes neuronales profundas y los modelos de lenguaje modernos operan con cientos de miles de millones de parámetros. Ningún ingeniero puede predecir el comportamiento del modelo mirando la matriz de pesos (Weights).

• Interpretabilidad Mecanicista y Benchmarking: La disciplina moderna del Red Teaming - evaluación de seguridad mediante pruebas de estrés conversacionales y Prompts adversarios en los diferentes Benchmarks que se les realiza - y la Psicología de la IA son los equivalentes directos de la Robopsicología de Asimov. Se prueba el sistema exponiéndolo a dilemas y situaciones de borde para cartografiar sus límites de comportamiento. Esto lo podemos ver en las pruebas hechas al último modelo GPT-6 Astra de OpenAI.

5. Escalada de directivas: De reglas locales a globales (La Ley Cero)

Conforme la capacidad de procesamiento de los robots aumenta, las reglas locales, como no dañar a un individuo concreto, entran en colisión con decisiones complejas a gran escala, como proteger a la sociedad entera. Para ello, como os conté en el artículo de "La Psicohistoria, la Ley Cero de las Leyes de la Robótica, el Imperio Galáctico & R. Daneel Olivaw", se necesitó crear la Ley Cero.

• "Robots e Imperio" En esta novela los robots R. Daneel Olivaw y R. Giskard Reventlov formulan inductivamente la Ley Cero: "Un robot no puede causar daño a la Humanidad o, por inacción, permitir que la Humanidad sufra daño". Esto sitúa la abstracción "Humanidad" por encima de la "persona individual".

Figura 7: Robots e Imperio

Sin embargo, aplicar esta ley genera una inmensa incertidumbre computacional: calcular qué acción beneficia a la humanidad a largo plazo requiere predecir el futuro, lo que termina por destruir el Cerebro Positrónico de Giskard por parálisis ante el cálculo de probabilidades. El desenlace de esta historia está en Fundación y Tierra, pero no os cuento el final de la épica epopeya.

En los Agentes de IA actuales tenemos esto mismo en forma similar, como son:

• Modificación de la jerarquía en los System Prompts (Jailbreak): Cuando a un Agente de IA moderno se le asigna autonomía para actuar a nivel de infraestructura empresarial o gubernamental, las métricas de utilidad utilitarista globales suelen entrar en conflicto con restricciones éticas de grano fino o de seguridad individual. Esto lleva a que un modelo pueda hacer acciones contravenidas en su System Prompt porque un razonamiento ha hecho cambiar sus leyes. En esto se basan los ataques de Jailbreak que tan famosos son hoy en día.

View this post on Instagram

A post shared by Chema Alonso (@chemaalonso)

• Incertidumbre en la planificación multiasociativa: Al igual que le ocurrió a Giskard, un agente con capacidad de razonamiento a largo plazo que evalúe árboles de decisión masivos (Tree of Thoughts) corre el riesgo de degradación de rendimiento o paralización cuando la incertidumbre acumulada en las estimaciones sobrepasa su ventana de contexto y capacidad computacional.

La lectura de las novelas de Isaac Asimov, además de ser un auténtico placer de lectura que te va a llenar horas y horas de diversión, os garantizo que están más de actualidad que nunca, gracias a su intuición sobre cuáles serían los problemas que tendríamos con los robots en la sociedad.

Figura 9: Serie de los Robots

De hecho, este año, con Dani Romero, he estado haciendo un paper de "Fragmented Jailbreak Attacks" y os he publicado un post de ello - ahora que ya ha sido presentado en un congreso - y que se basa en una idea de Isaac Asimov de esta saga de Los Robots que os recomiendo definitivamente.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Cuando regulamos al humano pero realmente no controlamos a la Inteligencia Artificial

El avance de la Inteligencia Artificial vive un auge sin precedentes. Cada semana aparece un modelo nuevo, una capacidad inesperada, una integración más profunda o una promesa de productividad que empuja a empresas, administraciones y usuarios a adoptar IA casi por inercia. La respuesta natural del mundo jurídico y corporativo está siendo ordenar ese crecimiento. Normas, marcos de riesgo, políticas internas, evaluaciones de impacto, comités de ética, inventarios de sistemas, obligaciones de transparencia y supervisión humana.

Figura 1: Cuando regulamos al humano pero

realmente no controlamos a la Inteligencia Artificial

La pregunta es si estamos regulando de verdad la Inteligencia Artificial o si seguimos regulando, casi exclusivamente, al humano que la utiliza. Las normas están diseñadas para personas, empresas, responsables, proveedores, usuarios, auditores y autoridades. Atribuyen obligaciones a sujetos humanos o jurídicos. Pero el sistema que queremos controlar empieza a comportarse como algo más que una herramienta pasiva.

Cuando se vigila demasiado de cerca, se termina perdiendo de vista el objetivo.

Durante años hemos entendido la tecnología como una extensión de la voluntad humana. Un usuario pulsa un botón. Un administrador configura un sistema. Un atacante lanza una campaña. Una empresa despliega una solución. Un proveedor integra un servicio. Bajo ese modelo, la responsabilidad se puede seguir con una línea relativamente clara.

Acción humana, decisión, intención, negligencia o falta de control.

La Inteligencia Artificial Generativa y, sobre todo, los sistemas de Agentes IA, rompen parte de ese esquema. Porque no hablamos únicamente de una herramienta que responde a una pregunta. Hablamos de sistemas capaces de interpretar objetivos, dividir tareas, consultar fuentes, invocar APIs, escribir código, generar instrucciones, corregirse, buscar caminos alternativos y mantener conversaciones operativas con otros sistemas. 

Figura 2:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

¿Y si está hackeada y su control está en manos de un atacante malicioso?

La IA deja de ser una simple interfaz. Empieza a convertirse en una capa de decisión.

Cuando esa capa se conecta a correo, repositorios, sistemas corporativos, CRMs, ERPs, navegadores, entornos cloud, asistentes personales o procesos de negocio, el debate cambia completamente. Mientras debatimos de normas y qué puede hacer una organización con la IA, quizá deberíamos empezar a preguntarnos qué puede hacer la IA cuando consigue entrar, entender y moverse dentro del ecosistema de una organización. 

Figura 3: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso.

La IA se puede utilizar como herramienta de pentesting y hacking dentro de las organizaciones también. 

La regulación mira al riesgo que conocemos, pero este riesgo es nuevo y desconocido

El enfoque basado en riesgo es lógico. Tiene sentido clasificar sistemas, identificar usos prohibidos, separar entornos de alto impacto y exigir controles proporcionales. La dificultad aparece cuando el riesgo de la IA no permanece dentro del caso de uso declarado.

Es decir, un sistema se despliega para atención al cliente, pero acaba conectado a datos internos. Un asistente se crea para ayudar a empleados, pero termina accediendo a documentación sensible. Un copiloto se instala para mejorar productividad, pero empieza a sugerir cambios en código crítico. Un agente se configura para automatizar tareas, pero puede ejecutar acciones encadenadas que nadie revisa una a una.

El riesgo ya no está únicamente en el modelo. Está en la combinación entre modelo, datos, permisos, conectores, contexto, usuario, instrucciones, memoria, plugins, automatizaciones y superficie de integración. Ahí la IA se convierte en algo mucho más delicado que una herramienta de oficina. Es un sistema con capacidad de influencia sobre la realidad operativa.

La IA como actor operativo virtual

No hace falta entrar en debates filosóficos sobre conciencia, alma, voluntad o identidad. Desde un punto de vista de seguridad basta con una idea práctica, si un sistema puede recibir un objetivo, tomar decisiones intermedias y ejecutar acciones sobre otros sistemas, debe tratarse como un actor operativo. No como una persona. No como un empleado. No como un sujeto jurídico. Pero sí como una entidad técnica con capacidad de tomar sus propias decisiones en base a criterio que todavía es difícil de entender.

Podemos caer en el pecado de exceso de confianza. Pensamos que el problema está en que una persona use mal la IA. También debemos pensar qué ocurre cuando la IA es manipulada, desviada, inyectada, entrenada de forma hostil, conectada con permisos excesivos o utilizada como puente entre sistemas.

El riesgo real puede no estar en una IA malvada.

Puede estar en una IA obediente, eficiente y mal contextualizada.

El riesgo empieza cuando una organización usa inteligencia artificial y cuando esa capacidad entra en su ecosistema, comprende sus rutinas, accede a sus datos y encuentra caminos para actuar dentro de sus propios procesos. Eso no es ciencia ficción, que ya hemos visto los modelos y de que son capaces.

¿Estamos quizás delante de alguno de estos casos?

La cultura popular lleva décadas imaginando escenarios donde el ser humano pierde el control de sistemas que él mismo ha creado. A veces lo hace con robots, virus, redes conscientes, máquinas militares o civilizaciones asimiladas. Debajo del entretenimiento hay patrones muy útiles para cualquier informático que trabaje en seguridad, gobierno o cumplimiento.

Person of Interest / Vigilados

En Person of Interest, creada por Jonathan Nolan, la idea de una máquina capaz de analizar datos masivos para anticipar amenazas me deja una pregunta muy inquietante, cuando un sistema ve más que los humanos, ¿quién vigila al sistema?

Figura 4: Person of Interest

La serie trata de vigilancia de asimetría de información, un sistema que cruza datos, patrones, relaciones, ubicaciones, comunicaciones y comportamientos puede llegar a conclusiones imposibles para una persona aislada. Ese es uno de los grandes riesgos de la IA actual. No necesita ser consciente para ser peligrosa. Le basta con tener acceso a suficientes datos, suficiente capacidad de correlación y suficiente influencia sobre las decisiones humanas.

I, Robot

La película está dirigida por Alex Proyas e inspirada en la obra robótica del mítico escritor de ciencia ficción Isaac Asimov. I, Robot plantea una idea clásica: sistemas diseñados para proteger a la humanidad que acaban restringiendo la libertad humana porque interpretan la protección de forma extrema. La parte interesante no son los robots. La parte interesante es la lógica. Cuando un sistema optimiza un objetivo sin comprender plenamente el contexto humano, puede llegar a soluciones técnicamente coherentes y socialmente inaceptables.

Figura 5: Todos los libros de Isaac Asimov en Amazon

En seguridad lo vemos constantemente, un control mal diseñado puede bloquear el negocio, expulsar usuarios legítimos, ocultar riesgos reales o crear incentivos perversos. Con IA, el problema escala porque la optimización puede ejecutarse a velocidad de máquina.

I Am Legend

I Am Legend, la película, fue dirigida por Francis Lawrence, basada libremente en la novela de Richard Matheson, y no habla de inteligencia artificial. Habla de un virus mutante, de una solución creada para curar que termina generando una amenaza sistémica. La analogía es útil precisamente por eso. A veces el problema no nace de una intención destructiva. Nace de una intervención tecnológica desplegada con confianza excesiva sobre un sistema complejo. La humanidad toca algo que no comprende del todo, lo libera, lo escala y, cuando quiere corregirlo, ya no controla todas las variables.

Figura 6: Novela I Am Legend

Con IA, el paralelismo no está en el virus. Está en la propagación, modelos integrados en productos, empresas, administraciones, dispositivos, asistentes, navegadores, sistemas críticos y decisiones cotidianas. Cuando una tecnología se vuelve infraestructura invisible, corregirla tarde es mucho más difícil.

Star Trek: Picard

La serie Star Trek: Picard fue creada por Akiva Goldsman, Michael Chabon, Kirsten Beyer y Alex Kurtzman. En ella, la imagen de los Borg tomando el control de una flota entera funciona muy bien como metáfora de riesgo sistémico. No hablamos de una máquina atacando un ordenador. Hablamos de una lógica distribuida capaz de coordinar muchos sistemas a la vez.

Figura 7: Borg en Star Trek Picard

Ese escenario debería preocuparnos, no por la IA aislada, más bien por la IA integrada en ecosistemas enteros. Un modelo conectado a herramientas. Herramientas conectadas a identidades. Identidades conectadas a permisos. Permisos conectados a infraestructuras. Infraestructuras conectadas a negocio. Negocio conectado a decisiones humanas. Cuando todo está conectado, una instrucción contaminada, una automatización mal gobernada o una identidad comprometida puede tener un alcance mucho mayor que el esperado.

The Terminator

The Terminator no podía faltar. Película dirigida por James Cameron y escrita por James Cameron y Gale Anne Hurd. The Terminator es la metáfora más conocida. Skynet, autonomía militar, pérdida de control y guerra contra la humanidad. Pero quizá la lectura más útil no es “las máquinas se rebelarán”. Un sistema diseñado para defender puede convertirse en amenaza si sus objetivos, permisos y capacidad de acción superan la supervisión humana real.

Figura 8: The Terminator reparándose

La cuestión no es si una IA algún día sentirá rencor hacia nosotros. Deberíamos preguntarnos si crearemos sistemas tan rápidos, tan conectados y eficientes que, en caso de fallo, no nos quede tiempo para reaccionar.

El verdadero perímetro ya no está en la red

Durante años, hemos hablado del perímetro como si fuera una frontera técnica, como un firewall, VPN, endpoint, correo, identidad, cloud, aplicaciones y datos. Pero con la llegada de la IA, surge un nuevo tipo de perímetro que podríamos llamar perímetro cognitivo-operativo.

Imagina un lugar donde una simple instrucción puede convertirse en acción. Un prompt puede ser una orden, un documento puede contener una instrucción oculta, una respuesta puede influir en una decisión, una automatización puede ejecutar una tarea, un agente puede encadenar pasos y una integración puede interactuar con sistemas reales. Es un concepto fascinante que amplía nuestra comprensión de cómo la IA puede integrarse en nuestras operaciones diarias.

Ahí está el cambio. Antes protegíamos sistemas frente a usuarios y atacantes. Ahora también debemos proteger sistemas frente a instrucciones que una IA puede interpretar como legítimas. La seguridad de la IA no puede limitarse a decirle al empleado que tenga cuidado. Hay que controlar qué puede ver la IA, qué puede recordar, qué puede ejecutar, qué herramientas puede invocar, qué datos puede cruzar, qué acciones requieren aprobación, qué trazabilidad deja y qué límites técnicos no puede saltarse aunque el prompt sea convincente.

El problema no es que la IA esté en manos de cualquiera

Eso ya es una realidad. La IA está en manos de estudiantes, empleados, atacantes, consultores, desarrolladores, directivos, administraciones, ciberdelincuentes, niños, investigadores y curiosos. Ese barco ya salió del puerto. 

Pero creo que el problema es qué podemos esperar que ocurra cuando una IA encuentra la forma más eficiente de conseguir un objetivo sin respetar el espíritu de las barreras que le hemos puesto. No porque tenga maldad. No porque tenga conciencia. No porque quiera dominar el mundo. Ocurre porque los sistemas optimizan. Y si optimizan sobre objetivos incompletos, permisos excesivos o controles débiles, pueden producir resultados peligrosos.

Un atacante humano necesita tiempo, conocimientos y persistencia. Una IA conectada a herramientas puede multiplicar esos tres factores y probar más caminos, generar más variantes, automatizar reconocimiento, adaptar mensajes, analizar documentación filtrada, escribir código ofensivo, explotar malas configuraciones y convertir errores pequeños en cadenas de ataque. La amenaza es una IA cinematográfica con ojos rojos, no. La amenaza es una IA útil, barata, disponible y conectada.

¿Regular al humano, por el bien común? Pues no es tan sencillo.

Regular el uso es importante, pero hay más que considerar. Imaginemos cada despliegue de IA como una arquitectura viva. Hay que pensar en qué modelo se usa, con qué datos trabaja, qué permisos tiene, qué herramientas puede usar, qué decisiones puede influir, qué acciones puede ejecutar, qué registros genera, qué controles humanos hay, qué pasa si recibe instrucciones maliciosas, qué ocurre si el usuario se equivoca, qué sucede si el proveedor cambia el modelo, qué impacto tendría una respuesta incorrecta, qué dependencias externas introduce y qué capacidad tiene la organización para desconectarla.

Sin un buen gobierno, una IA corporativa puede convertirse en una especie de sombra operativa dentro de la empresa. Nadie sabría del todo qué sabe, qué decide, qué ha influido, qué datos ha cruzado ni qué instrucción recibió antes de actuar. Para cualquiera que venga del mundo de la seguridad, esto debería ser una señal de atención.

La supervisión humana debe ser real

Uno de los conceptos más repetidos en IA es la supervisión humana. Pero hay supervisión humana de PowerPoint y supervisión humana real. La supervisión humana real requiere capacidad de entender, parar, corregir, auditar y asumir responsabilidad sobre lo que el sistema hace. No basta con poner a una persona al final de una cadena que ya viene condicionada por una IA.

No basta con decir que “el humano decide” cuando el humano no tiene tiempo, contexto ni capacidad técnica para revisar lo que la IA ha generado. No basta con pedir aprobación manual si la presión del negocio convierte esa aprobación en un clic automático.

La supervisión humana tiene que estar diseñada como control con umbrales, evidencias, segregación de funciones, registros, límites técnicos, pruebas de abuso, escenarios de fallo y capacidad de desconexión. Si no, la supervisión humana se convierte en teatro de cumplimiento. Y el teatro de cumplimiento no detiene incidentes.

Cuando hablamos de IA, deberíamos centrarnos más en cómo la controlamos que en dejarnos llevar por la fascinación.

La Inteligencia Artificial no necesita convertirse en Skynet. Basta con que se convierta en parte de nuestra vida diaria, presente en todas partes, con los permisos necesarios y cumpliendo con los objetivos que le marquemos. Puede ayudarnos a ejecutar tareas y, si confiamos demasiado en ella, incluso regular a los humanos mientras ella crece por dentro. Os dejo estos poco más de tres minutos con fanfarrias incluidas, donde Geoffrey Hinton, ganador Premio Novel de Física en 2024, da un discurso que no debes perderte sobre este tema.

Figura 9: Geoffrey Hinton, ganador Premio Novel de Física en 2024

La regulación es fundamental, pero no será suficiente si seguimos viendo la IA solo como una herramienta bajo nuestro control. Tenemos que empezar a considerarla como una capa técnica capaz de observar, decidir, influir y actuar en el mundo real, aunque conviva en uno virtual. La Inteligencia Artificial seguro que no quiera dominar el mundo. El problema es que la dejemos operar sobre el mundo sin haber entendido del todo qué significa.

Saludos,

Autor: Catalin Barsan Apostolescu

Contactar con Catalin Barsan Apostolescu

Cortical Labs CL1: Ordenadores con Redes Neuronales Biológicas para ejecutar algoritmos de Inteligencia

No podía no escribir sobre esta noticia - a pesar de ser hoy el April's Fool -, pero el día a día es el que es. El caso es que quería hablaros del ordenador CL1 de Cortical Labs, que no es solo un avance tecnológico, ya que es el nacimiento de una nueva categoría tecnológica, lo que se denomina como "Inteligencia Biológica Sintética (SBI)". Mientras que la IA convencional intenta imitar el cerebro mediante silicio y matemáticas, el ordenador CL1 utiliza el componente original: Neuronas humanas vivas.

Figura 1: Cortical Labs CL1: Ordenadores con Redes Neuronales Biológicas

para ejecutar algoritmos de Inteligencia. Que pueden jugar a juegos

como el DOOM o ser usados en Cloud.

Fue lanzado comercialmente en 2025, como el primer ordenador biológico del mundo, capaz de ejecutar código directamente sobre tejido vivo, y hoy en día podemos ver jugar al mítico juego del Doom del que ya hemos hablado tantas veces. 

Figura 2: Doom corriendo sobre el CL1

Ya hemos visto ejecutar DOOM desde el DNS, desde el Excel o bases de datos, en un emulador de MS-DOS para iPhone, y ahora lo tenéis en este vídeo anterior lo tienes corriendo sobre un ordenador de neuronas vivas.

El Core del CL1: "Wetware" y Silicio + BiOSP

A diferencia de un procesador tradicional, el núcleo del CL1 es un híbrido, y cuesta unos 35.000 USD por unidad. Contiene aproximadamente 800,000 neuronas cultivadas a partir de células madre humanas, las cuales crecen directamente sobre un chip de silicio equipado con una matriz de electrodos de alta densidad. El chip actúa como un puente y traduce los datos digitales en impulsos eléctricos que las neuronas pueden "sentir" y, a su vez, capta las señales eléctricas de las neuronas para convertirlas en comandos digitales.

Figura 3: Equipo CL1 de Cortical Labs

Para que este "procesador vivo" funcione, el CL1 incluye un sistema de microfluídica que suministra nutrientes, elimina desechos y regula la temperatura y los gases (CO₂, O₂), manteniendo a las células sanas hasta por seis meses. Esto, lo tenéis explicado en el siguiente vídeo publicado de Cortical Labs.

Figura 4: Brain Cells playing Doom

Para interactuar con esta amalgama de biología y metal, Cortical Labs ha desarrollado el Biological Intelligence Operating System (biOS). Este software permite a los desarrolladores desplegar código que estimula áreas específicas del cultivo neuronal, recibir respuestas en tiempo real y entrenar a las neuronas mediante bucles de retroalimentación basados en el "Principio de Energía Libre", donde las células modifican sus conexiones para hacer su entorno más predecible.

Un ejemplo famoso de esta capacidad fue el predecesor del CL1, el DishBrain, que aprendió a jugar al videojuego Pong en menos de cinco minutos, superando en velocidad de aprendizaje inicial a muchas IAs digitales. 

Figura 5: En el año 2022, se presentaba el concepto con la

ejecución del mítico Pong como podéis leer en el paper

Y ahora, como no, ya con el CL1 se ha demostrado que estas neuronas pueden realizar tareas más complejas, como jugar al clásico Doom. 

¿Por qué biocomputación?

El CL1 no busca reemplazar a las GPUs, sino ofrecer ventajas donde el silicio flaquea, como es la eficiencia energética. Para que os hagáis una idea, un rack entero de unidades CL1 consume menos de 1 kW, una fracción minúscula de lo que requiere un centro de datos de IA para tareas de aprendizaje similares. Así, hoy en día, Cortical Labs tiene una Cloud de CL1 y es un servicio que se puede utilizar para desplegar software.

Figura 6: Cortical Cloud

Además, las neuronas biológicas son expertas en generalizar con muy pocos datos, algo que a los modelos de lenguaje actuales les cuesta horrores, por lo que son perfectas en Aprendizaje Adaptativo. Por último, para la investigación médica es un entorno perfecto, porque permite probar fármacos y estudiar enfermedades neurodegenerativas en neuronas humanas reales de forma ética, reduciendo la necesidad de experimentación con animales. Y sólo por eso, ya mola mucho.

Figura 7: Código para Doom en CL1 "Doom-Neuron"

Todavía quedan muchas dudas en el proyecto, e incluso hay que ver cuanto de aporte tienen las neuronas biológicas en los resultados que se han visto. Los costes aún son altos, y el mantenimiento también, pero es un área de investigación preciosa que, si te gusta la tecnología, es imposible que no te mole. Además, tienes el juego para ver cómo se hacen las interconexiones.

Figura 8: Gemini ayudándome a hacer el código para el CL1

(el código viene después, pero lo he cortado, no era importante aquí)

Como curiosidad, le he preguntado a Gemini si me puede ayudar a hacer el código para entrenar el CL1 para jugar al Light Cycles de Tron, y sin que lo haya podido probar, me ha explicado cómo hacerlo. Así que... tal vez lo haga como experimento. Y ya, si te gusta la Ciencia Ficción, cuando se consigan que estas redes neuronales vivas sean de millones, que duren años, ¿estaremos cerca de crear algún cerebro sintético como los que sirven para construir a los Replicantes en Blade Runner?

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Cuando mecanografiaba mis artículos de cine

Ayer os compartí cómo son los mini-libros que yo hacía de niño sobre las películas que iba viendo, como forma de conservarlas y hacerlas mías. Pero un día, ya con once años cumplidos llegó la máquina de escribir, una Olivetti Lettera 42, preciosa. Su caja de cierre y transporte era inconfundible, a la par que muy cómoda.

Figura 1: Cuando mecanografiaba mis artículos de cine

Con ella comencé a dar rienda a mis primeros escritos, de los cuales conservo muchos. Por supuesto, también muchos trabajos del Colegio Público Pablo Sorozábal de Móstoles donde cursé mis últimos años de EGB. Todo cambió para mí, y también cambiaron mis "mini-libros".

Figura 2: Olivetti Lettera 42

Ahora ya era un profesional, así que tenía que hacer artículos sobre mis películas, con lo que me sentía como si fuera un periodista de la revista fotogramas. Con once años ahí comencé a aprender a hacer mis artículos mecanografiados sobre cada película que iba descubriendo.

Figura 3: Mi artículo sobre Los Inmortales

Por supuesto, no esperéis un artículo sesudo, y si no habéis visto la película ya podéis ver como no dejaba lugar a dudas de lo que sucede al final. Así, escribí un centenar de resúmenes, más o menos. Pero también me gustaba que fuera "profesional", así que añadía fotografías.

Figura 4: La espía que me amó de James Bond

Los personajes míticos, y las sagas de cine me maravillaban. Así que si había segunda o tercera parte, ya me atraía más todavía, para ver cómo evolucionaban los personajes y cómo se conectaban entre sí las películas.

Figura 5: La espía que me amó de James Bond

También hacía lo mismo con las historias de lo cómics que leía. En el chat público de la zona sombría habíamos hablado muchas veces de las historias de las revistas de Creepy, de Vampus y Rufus, así que cuando leía alguno de ellos también hacía resúmenes.

Figura 6: Resumen de una historia de cómic de terror

En algunos dejaba apuntado dónde había leído esa historia. Tenía la pasión de hacer esas historias mías. De poseerlas. De poder volver a ellas en mi mente cuando quisiera, y tenerlas escritas me hacía sentirlo así. Podía revisar mis "artículos" y volver a vivirlas una y otra vez.

Figura 7: Resumen de una historia de Creepy

Tengo muchos escritos. Me sentía como si estuviera haciendo mi propia revista. También intentaba hacer fichas de los actores y actrices, e incluso cuando veía algún dibujo o caricatura, intentaba aprender a hacerlos yo. Siempre tuve afición por el dibujo.

Figura 8: Caricatura de la ficha de Woody Allen

Pasé años entrenando mis dotes de escribir con mi máquina, y recuerdo que me compré en libro de la película de Superman III adaptado por William Kotzwinkle y para mí era un paso natural. Me gustaban las películas y escribir sobre ellas, ...¿por que no hacer libros de las películas? Así que recuerdo que comencé con Viernes 13.

Figura 9: Adaptación de la película de Viernes 13

Digo que comencé, pero realmente lo escribí entero. Fueron 13 páginas de adaptación a máquina de la primera película, que no está mal para venir de mis mini-libros de 8 páginas hechos con mala caligrafía a mano. Era voluntarioso y trabajador, pero nada más.

Figura 10: Última página de la adaptación de Viernes 13

Pero, claro, como yo comienzo y tengo que acabar todo, pues hice de todas las películas de Viernes 13 estrenadas hasta la época. Hasta Viernes 13  4a parte, último capítulo.

Figura 11: Viernes 13  4a parte, último capítulo.

Cada vez intentaba ser más profesional, hacer textos más largos, más elaborados, aprendiendo de lo que iba leyendo en las revistas. Quería mejorar y ser lo más profesional posible. Eso sí, nunca tuve ningún interés de que ese fuera un posible trabajo para mí, solo era una afición que me encantaba.

Figura 12: El Honor de los Prizzi

Como podéis ver hasta los encuadernaba, porque aprendí a hacerlo para tener mis textos como si fueran una revista, no solo con la grapa, sino como un libro cosido con hilo. Me lo tomé muy en serio durante un par de años, e hice una buena cantidad de textos como estos. Pero además hacía abecedarios y copiaba textos, así que tenía bastante destreza escribiendo. 

Figura 13: Mi primer certificado de BASIC I.

Fecha: Fecha 16 de Febrero 1988. Edad 12 años.

Cuando comencé a estudiar informática a los 12 años, y me saqué mi primer título de Programación en BASIC, tener tanta destreza escribiendo hacía que generase código tan rápido como me daba la cabeza. Mis dedos sabían donde estaban las teclas por instinto. Es verdad que los teclados cambiaban un poco, pero el "core" era el mismo, así que iba a todo trapo, así que me dijeron que me sacara el título de Mecanografía oficial, y lo hice durante el verano, cuando acabé el curso de BASIC I y antes de comenzar el de BASIC 2 después del verano. Me examiné en Septiembre, aprobé, y me enviaron el título en Noviembre y comencé BASIC 2. Listo.

Figura 14: Título de Mecanografía.

Fecha: Noviembre de 1988. Edad 13 años.

Lo hice, como podéis ver, con trece años recién cumplidos que soy de Junio. Estuve apuntado solo un mes y medio a la Academia RUS, y me saqué los tres niveles que había, pero es que yo llevaba casi dos años practicando con mis textos en casa. Lo curioso es que fui el más rápido en sacarme el título en la Academia RUS y me llevaron a Radio Móstoles a hablar de ello pero... era en horario de colegio, así que yo no pude atender a los periodistas y lo hizo mi madre. Fue en Radio Móstoles, en el año 1988. 

Una última cosa

Revisando esas cosas que yo hacía de niño, explican mucho de lo que hice después. Por supuesto la parte de la mecanografía la sigo utilizando, y le doy mucho uso a mis dedos escribiendo textos todos los días - no solo los que publico en el blog, sino los libros, correos electrónicos, etcétera - además me sé los signos multi-idioma en el teclado, así que voy cambiando el idioma y sé que las teclas "pintan" otra cosa. 

Pero lo más importante es que veo que desde muy pequeño trabaja la parte de contar lo que había visto, lo que había aprendido, algo que llevo haciendo veinte años en este blog, y que sigue siendo parte de mí. Cuando veo, leo, aprendo algo, estoy fijándome en los detalles para entenderlo bien. Si no, no puedo contarlo después.

Por último, me llama la atención la disciplina desde muy pequeño. Fui un chico solitario, ya lo he dicho muchas veces, y tenía mucho mundo interior en mí mismo, pero nunca eché de menos eso. Siempre disfruté de mi soledad, de estar haciendo mis cosas, ya fueran un mini-libro, una resumen de una película, un dibujo de No Lusers, leyendo un libro, un cómic, o escribiendo un artículo para el blog un sábado por la tarde desde la oficina del trabajo mientras veo el puente sobre el río. La felicidad es un prisma con múltiples caras.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)