Mostrando entradas con la etiqueta Meta. Mostrar todas las entradas
Mostrando entradas con la etiqueta Meta. Mostrar todas las entradas

sábado, agosto 16, 2025

¿Está vivo el "sueño" del Metaverso? Second Life se apunta al formato GLB del Metaverse Standards Forum

Me vais a matar, soy María otra vez. ¡No es culpa mía que vaya todo tan rápido! Hoy os traigo novedades frescas sobre... Tachán tachán... ¡¡¡El Metaverso!!! ¿Ves? He dicho “Metaverso” y no se me han caído los ojos de sus cuencas ni nada.

Figura 1: ¿Está vivo el "sueño" del Metaverso?
Second Life se apunta al formato GLB del Metaverse Standard Forum

¿Te imaginas tener acceso fácil a realidades extendidas y mundos virtuales? ¿Tan fácil como ahora accedes a Internet desde el dispositivo que tengas a mano? ¿Y te imaginas estar compartiendo tus propias creaciones virtuales, igual de fácil que ahora compartes vídeos en TikTok o en reels? ¿Te ves participando en una nueva economía de creadores que forme parte de ti como el respirar? Pues puede que ese futuro se esté acercando... Y puede que no venga de donde crees.

Figura 2: Esa soy yo en Second Life, es mi bienamada avatar Irma.
 
Reto: si aciertas dónde surgió la idea para este artículo, te llevas un tontipunto. Pero no me hagas trampa, ¿eh? ¡Espera a leerlo hasta el final! Bueno, haz lo que te plazca XD

Primero, un poco de contexto

¿Te acuerdas de hace casi 4 años, en octubre de 2021, cuando Mark Zuckerberg nos contó en Connect su visión del Metaverso? Los que estamos en estas cosas lo entendimos normal, a la primera, sin problema. Pero por algún motivo que nunca comprendí, la idea fue procesada por el mundo en general al estilo Martes y 13 con Encarna de Noche y las empanadillas de Móstoles. Perdona porfa si no conoces la referencia, es humor español absurdo de los años 80.

Figura 3: vista en detalle, un avatar actual en Second Life (male).
 Imagínatelo, alta calidad gráfica y animaciones preciosas.

Empanadillas aparte, desde el anuncio de Zuckerberg muchísima gente nos pusimos a trabajar súper ilusionados, pensando en construir paso a paso un futuro que nunca antes había sido posible imaginar: un futuro de interoperabilidad. Una idea chula... Aunque confieso que siempre fui escéptica. Bueno, no siempre. Creo que fue en 2008 cuando perdí la fe del todo.

Interoperabilidad, ¿2021 era demasiado pronto?

¿A qué me refiero con interoperabilidad? A estándares. ¿Para qué? Para poder transitar por diferentes mundos o experiencias inmersivas, entrar, salir, saltar de una a otra... Siendo un único tú, un único usuario: un avatar, una agenda, una wallet. ¿Por deporte? No: por economía. ¡Ticling!

Figura 4: Second Life Marketplace, el equivalente en esta plataforma
a “Amazon”, donde vender y comprar de todo al instante.

Una vez superado el hype del anuncio de Zuckerberg (y con este sentido del humor tan sofisticado que se nos ha quedado, consistente en reírse entre dientes cada vez que alguien dice “Metaverso” como si fuera un chiste de pedos), parece que efectivamente el tiempo pone todo en su sitio y las plataformas de mundos virtuales, en su esfuerzo por mantenerse a flote, tienden a ir en la otra dirección: no hacia interoperabilidad (ciento volando), sino hacia “walled gardens” (pájaro en mano).

Figura 5: vista en detalle, un avatar actual en Second Life (female).
Si esta es su cara, no quieras imagiar su cuerpo, grrr... ¡Miau!” =^_^=
  
¿A qué me refiero con “walled gardens”? A lo que suena: economía cerrada. Por lo que observo, parece que cada plataforma se está plegando sobre sí misma, buscando una economía propia que le permita sobrevivir a corto. No digo que esté mal, Woz me libre, es sólo que el momento es así ahora. Posiblemente 2021 era pronto para interoperabilidad... Especialmente si hablamos de plataformas nuevas, que seguramente tengan que consolidarse muy mucho antes de pensar en romper fronteras.

El monstruo que acecha... Esperando su momento

Y sin embargo, no todas las plataformas de mundos virtuales son nuevas, ni mucho menos. Hay algún maromazo por ahí que a la chita callando lleva más de veinte años levantando un mundo paralelo bit a bit. Un mundo habitado, creado y sostenido por una comunidad súper pro y freak a morir. Un mundo con una economía consolidada, comprobada y curada en el tiempo. Un mundo sólido, viejo, fuerte, preparado para romper esa frontera en cuanto las nuevas capacidades de Internet lo permitan.

Figura 6: Philip Rosedale pilotando su avatar Philip Linden en SL.

Ya ves a quién me refiero... ¡Efectivamente! Es Philip Rosedale: el jefe súper supremo y fundador de Linden Lab, la empresa detrás de Second Life. Por si no le pones cara, te dejo este simpático vídeo de tres minutos y medio del World Economic Forum.


Podéis ponerme mil pegas: podéis decirme que Second Life es sólo para ordenador, que no funciona con gafas de VR, que no incluye experiencias AR, que ni siquiera se puede acceder mediante navegador porque sigue dependiendo de un viewer... Y es verdad. Tienes toda la razón. Y esa es precisamente la barrera que Second Life podría -hipotéticamente- estar en posición real de derribar, llegado el momento.

Como ya te conté en este artículo anterior, mientras las plataformas nuevas (las que empezaron su andadura después de la idea de Zuckerberg) se repliegan de momento hacia “walled gardens”, Second Life parece calentar motores. Primero con las pruebas en navegador mediante pixel streaming como te conté la otra vez. Y ahora... Atiende que voy:

Second Life está adoptando estándares (.glb)

El pasado viernes 8 de agosto, Second Life actualizó su viewer a la versión 7.2.0.16729091892 – 2025.05, con una feature de lo más interesante: permiten la importación de modelos .glb, uno de los estándares de objetos 3D que más se está utilizando en diferentes plataformas de mundos virtuales sociales.

Figura 8: A principios de agosto, Second Life ha dado un
primer paso para la adopción del estándar glTF.

Hasta ahora, para subir un modelo 3D a Second Life se necesitaba un editor 3D que permitiese la exportación en COLLADA (.dae), formato desarrollado inicialmetne por Sony Computer Entertainment y que ahora es gestionado por Khronos Group.

El formato COLLADA está basado en XML y es más utilizado en workflows de edición y transferencias entre software 3D clásico, no es muy rápido y a veces su peso es excesivo. El formato GLB, en cambio, es binario, más compacto, rápido, y especializado en XR y plataformas de Metaverso, aunque es menos editable, tiene soporte limitado para materiales avanzados y no todas sus extensiones son 100% compatibles para cualquier runtime.

Figura 9: Exportando glTF desde Unity, con KHR_Interactivity integrada.

Una de las extensiones que no están completamente soportadas es la de glTF interactivity, que además de geometría, materiales y animaciones, permite añadir interactividad a los objetos a través de Unity y visual scripting. ¿Os imagináis lo que significaría poder crear los comportamientos de un elemento 3D en un único entorno, y poder importarlo en casi cualquier plataforma de Metaverso? Yo sí XD! Porque me lo enseñó a principios de junio el gran Iker Jamardo de Google ;) Si te interesa, lo tienes muy a mano porque se trata de un plug-in del propio Khronos Group.

Llámame loca... Pero juzga por ti

Recapitulando: ¿son imaginaciones mías, o Second Life está adaptando los estándares que se están proponiendo desde el Metaverse Standards Forum? Lo digo porque los archivos .gltf (o .glb en su “traducción” a binario) se están planteando durante los últimos cuatro años como la base de la interoperabilidad de objetos entre mundos virtuales, con la posibilidad de incluirlos en escenas .USD, que albergarían diferentes objetos .glb dentro de ellas.

Si te suena a chino... ¡Dime qué dialecto XD! Me refiero a que la adopción del estándar glTF es sólo uno de los working groups en los que están trabajando desde el Metaverse Standards Forum donde hay muchas más líneas de trabajo abiertas. Si te interesa conocer más, aquí tienes el listado completo.

Figura 10: Tocando el ukelele con mi avatar Irma.
¿Ves mi cara de concentración?

Llámame loca (¡Loca! Graciasss) pero, ¿no parece que esto es medio paso más de Second Life hacia la interoperabilidad entre mundos virtuales? Y digo “medio” porque ahora mismo subir modelos .glb a SL todavía tiene limitaciones, como la necesidad de importar por separado el modelo y el material, y unirlos después dentro del editor de Second Life... Bueno, no pasa nada. La otra mitad del paso está a punto de completarse: no hay más que echar un vistazo a las contribuciones de la comunidad en GitHub o seguir las conversaciones en Discord, y ahí ya se ve que esta feature avanza rápido, ofreciendo cada vez más posibilidades.

Ideas perversas al alcance de todos

Llegados a este punto, supongo que llevas ya un rato pensando en ideas perversas con esa cabecita traviesa tuya, ¿a que sí? ¿A que estás pensando en herramientas de creación de modelos 3D con Inteligencia Artificial como Meshy o Tripo, que permiten la generación de modelos 3D a través de un prompt de texto y/o una imagen y su posterior descarga en formato .glb

Figura 11: Vista en detalle, accesorios para lengua en Second Life, impensables
(por varios motivos) en plataformas de mundos virtuales más recientes.

¿Eh, eh? ¿A que sí? ¡¡¡Pues claro que sí!!! Y Philip Rosedale y su equipo también, no te quepa duda. Lo que no sé es a qué esperas para probarlas, alma de kantarooz =^_^=

Pero esos avatares... ¿No son demasiado chulos?

En las imágenes que te he ido poniendo ya has visto que los avatares en Second Life son una pasada. ¡Y no es porque fueran así originalmente! Bajo la piel de cada avatar precioso que ves, hay un avatar básico de sistema recubierto por piezas 3D interactivas creadas por otros usuarios a lo largo del tiempo (User Generated Content). Para poder hacerte un avatar así, han tenido que pasar veinte años.

Figura 12: fíjate en la joyería tan intrincada que lleva este avatar.
Esta complejidad de geometría era impensable hace veinte años.

Durante estos veinte años, la comunidad de Second Life ha ido puliendo y perfeccionando métodos ingeniosos para hackear el avatar de sistema, añadiendo capas de creciente complejidad y belleza. Al mismo tiempo, Linden Lab no se ha quedado atrás y ha ido ampliando las capacidades de Second Life a la par que el propio Internet iba creciendo y madurando.

Hoy por hoy, armar tu avatar es un proceso absolutamente delicioso. Puedes comprar cada componente a tus artistas favoritos (cabeza, pelo, cuerpo, ropa, animaciones...) e ir ensamblándolo todo a tu gusto. Incluso puedes ser artista tú también y vender tus creaciones a los demás.

Figura 13: Bakers on Mesh (BOM)El viewer de Second Life “tuesta” todas las texturas
de tu avatar en una textura única, ahorrando recursos de render sin que tú tenga
 que hacer nada.¡Y puedes cambiar tu ropa, pelo accesorios... Siempre que quieras!
  
Pero espera... ¡Piensa un momento! ¿Y si en un futuro no demasiado lejano Second Life fuera un paso más allá y consiguiera adoptar el formato .vrm, que es el estándar por el que se están decantando en el Metaverse Standard Forum en cuanto a avatares y moda digital? ¿Y si pudieran hacerlo compatible con la creación de avatares por piezas? No sería la primera vez que Second Life ingenia algo así: mira si quieres cómo se lo montaron para mapear todas las texturas del avatar en un solo atlas, sin que el usuario sea consciente de ello. La solución se llama “Bakes On Mesh” (BOM) y es brillante.

En la línea de fuego

Cada día estoy más convencida de que los veinte años de ventaja que tiene adelantados Second Life respecto al mercado la colocan en la línea de vanguardia para romper la barrera de la interoperabilidad, en cuanto las nuevas capacidades de Internet y los nuevos dispositivos lo hagan posible. Y te digo por qué.

El hecho de que Second Life esté abriendo su runtime a otros formatos de modelos 3D más allá de COLLADA, concretamente estándares como .glb, para mí es una declaración de intenciones. Si Philip Rosedale, que ha conseguido mantener su plataforma de Metaverso abierta durante más de 20 años (a base de ofrecer a los usuarios lo que le estaban pidiendo), se está colocando en la línea de fuego de esas nuevas fronteras... ¿Qué más no tendrá en mente?

Figura 14: Warning! Irma sigue observando.

Se lo dije a Iker Jamardo cuando estuvo aquí, os lo digo a todos: atentos a Philip Rosedale que es un pieza el figura. Y ¿quién sabe si ahí donde lo ves, tal vez se esté preparando para liderar la revolución cyberpunk? XD Yo por mi parte no le pienso perder ojo. Sin duda va a resultar muy interesante seguir sus movimientos ;)

Saludos bue... ¡Ay, espera!

¿Recuerdas el reto del principio? Te había prometido un tontipunto si acertabas dónde surgió la idea para este artículo. Pues... ¡Efectivamente! Surgió en el chat público de este blog, El lado del mal, en MyPublicInbox. Fue durante una conversación con mi querido Ángel Soto (Anso) sobre NotebookLM...



¿Acertaste? ¿Sí? Genial: ¡tontipunto para ti! Ya sabes adónde venir a canjearlo por un “hola qué tal”: a mi buzón en MyPublicInbox, o al chat público de El lado del mal ;)

Ahora sí... ¡Saludos buenignos!

sábado, agosto 02, 2025

La carrera mundial por dominar la Súper Inteligencia Artificial

Estos días he estado teniendo varias charlas sobre la llamada Súper Inteligencia Artificial, y la sensación que tengo es de estar viendo de cerca la pelea por la construcción de la nueva tecnología que marcará el futuro del dominio geopolítico. Algo así como la batalla entre los grandes países, y las grandes empresas tecnológicas por tener antes la Súper Inteligencia Artificial para ser la empresa y/o el país dominante de esta tecnología.

Figura 1: La carrera mundial por dominar la Súper Inteligencia Artificial

De momento, estamos lejos de esto, porque aún tenemos muchas barreras que superar tecnológicamente, y lo vemos constantemente en forma de mil problemas que seguro que has sentido y sufrido si has trabajado con los modelos de IA de hoy en día. Alucinaciones, Determinismo, el Better Done Than Perfect, etcétera, que yo os contaba no exento de cierta frustración en el artículo de Insane Vibe Coding with Harsh Prompting, donde intentaba resolver mis objetivos con IA de un modo un tanto "loco" y "disparatado". Todo esto, se ve también reflejado en el Potemkin Rate de los modelos de IA, donde se ve que sí que pueden resolver tareas de determinados problemas sin acabar de entender bien lo que están haciendo. 

La carrera aún está en pasar de la ANI (Artificial Narrow Intelligence) a la AGI (Artificial General Intelligence), cuando igualen a los seres humanos en capacidades. Aún le falta a la ANI que tenemos hoy en día avanzar para ser AGI, pero lo cierto es que cada día, como en el cálculo infinitesimal, está un poco más cerca de llegar a ser AGI. ¿Cuánto de lejos? No sabemos, las predicciones son muchas, y de entre todas ellas hay dos tendencias, los que piensan que vamos a toparnos con un límite asintótico que nos obligará a repensar los modelos, o los que creen que está cerca y es solo cuestión de potencia de computo.

De hecho, en la batalla entre los países y empresas, yo no puedo dejar de ver ciertas similitudes a la carrera por la construcción de la Bomba Atómica o el Viaje Espacial, que también cuenta Javier Santaolalla en su último vídeo sobre este tema, y por eso estamos viendo a las grandes empresas tecnológicas apostar por grandes inversiones en datacenters, en investigación, y en adquisiciones de talento. Compras de empresas, fichajes estrella, y un movimiento acelerado por tener los mejores mimbres. Por tener el mejor "Proyecto Manhattan" de la Súper Inteligencia Artificial. Hacen falta recursos, talento y foco.

No hace falta que os recuente los anuncios en inversiones de datacenters para IA que se han hecho, con cantidades brutales de dinero para tener todo el cómputo que sea necesario, ni las batallas por el acceso a los datos para el entrenamiento de los modelos, donde en Estados Unidos hay una aproximación diferente a la que tenemos en Europa, y donde hemos visto que el actual presidente ha querido quitar este problema de manera taxativa, con su "AMERICA'S AI ACTION PLAN". 

En el plan descrito, se promueve la construcción rápida de datacenters con la protección de la energía que sea necesaria. Además, en contraposición con Europa, pone la regulación en segundo plano, quitando burocracia y leyes que ralentizan la construcción de modelos lo más potente posible, sin preocuparse del exceso de celo en protección y origen de los datos que consumen, y por supuesto, con el objetivo de tener la mejor industria de IA que sea posible para exportar a sus socios.  Para todo ello, habrá fondos de acceso rápido para el desarrollo de este plan.

Por otro lado, la batalla por el talento la hemos visto entre Meta y OpenAI por el talento, o entre Google y OpenAI por las compañías. O la apuesta decidida de Microsoft por "Copilotizar" todo.  Si miramos al otro lado, podemos ver una producción científica altísima en China. El lanzamiento de los modelos de Deep Thinking de DeepSeek fue un claro ejemplo el nivel que tenían, y empresas como Manus tienen en jaque a todas las empresas de Agentic AI, por su capacidad de hacer tareas de manera espectacular. Yo le he pedido, como prueba, que haga un resumen de los acontecimientos más destacados en la batalla por la Súper Inteligencia Artificial, y aquí lo tenéis - y podéis ver "la computadora de Manus", por lo que si lo leéis, tal vez sea innecesario que leáis este artículo.
La batalla es dura, muy dura. Y os garantizo que solo intentar seguir todos los avances que se producen diariamente da un cierto vertigo y angustia. Cada día te sientes con muchas más cosas que no conoces, a pesar de dedicar tu tiempo a leer y estudiar este campo, pero es que la intensidad de desarrollo es brutal. En el reciente estudio publicado por Microsoft sobre los datos de Copilot, la cantidad de puestos de trabajo que van a ser hechos completamente solo con IA cada día es mayor, pero la cantidad de trabajos que utilizan la IA cada vez es más grande.
En el último artículo que han publicado, titulado "Working with AI: Meassuring the Occupational Implication of Generative AI" desde el equipo de Microsoft Research,  utilizan una serie de métricas para medir cuántas de las tareas que realiza una determinada profesión se están realizando ya con un Copilot de IA, cuantos de los objetivos de un puesto de trabajo se pueden cumplir completamente con un modelo de IA, y qué porcentaje de las tareas del cumplimiento de un puesto de trabajo se pueden realizar con IA. Y los datos son espectaculares.
Para ello utilizan métricas para cada puesto de trabajo analizando la lista de DGA (Detailed Work Activities) para cada puesto de trabajo, que dividen en IWA (Intermediate Working Activities) que al final se transforman en GWA (Generalized Working Activities), es decir, lista de acciones genéricas como "buscar información", "hacer cálculos", "escribir textos", etcétera.

Con estos parámetros, analizan el impacto de la IA en las profesiones, el número de personas que realizan esos puestos de trabajo, y por ende el impacto en el mercado laboral y la economía que puede tener, a día de hoy la IA. Los datos son brutales. Sobre todo si quitamos de la ecuación las limitaciones físicas, que el avance la robótica - merced también - a la Inteligencia Artificial está eliminado.

Pero claro, ¿qué pasaría se llegamos a la AGI? Pues que estas tablas se saldrían del marco. Sin embargo, antes de llegar a la AGI estamos ya hablando de la Superinteligencia Artificial, o la ASI (Artificial Super Intelligence) donde nos encontraríamos con una AI que, a diferencia de la ANI, podría:
  • Superioridad Cognitiva Total: Excede la capacidad humana en razonamiento lógico, resolución de problemas complejos, creatividad, planificación, aprendizaje y teoría de la mente. Puede abordar cualquier tarea intelectual mejor que cualquier persona. Automejora Exponencial: La ASI puede mejorarse a sí misma de forma autónoma, optimizando y evolucionando sus propios algoritmos mucho más rápido de lo que una persona podría aprender o desarrollarse.
  • Capacidad de Conciencia y Emociones: Se especula que podría llegar a ser consciente de sí misma, desarrollar deseos, creencias e incluso emociones, comprendiendo y gestionando las emociones humanas y las propias.
  • Creatividad Ilimitada: Superaría a los humanos no solo en cálculo o memoria, sino también en creatividad, generando soluciones y teorías inéditas incluso en ciencia, arte y filosofía.
  • Memoria y Acceso a Información Infalibles: Tendría acceso a vastísimos volúmenes de datos y memoria prácticamente ilimitada, recordando y utilizando toda la experiencia documentada de la humanidad.
  • Procesamiento y Análisis a Gran Escala: Capaz de analizar, comprender y extraer patrones de cantidades colosales de datos instantáneamente y sin fatiga, lo que le permite tomar decisiones o predecir eventos con una precisión y rapidez sin igual.
  • Resolución de Problemas Globales: Podría abordar desafíos globales—cambio climático, pandemias, escasez de recursos, enfermedades complejas—con niveles de eficacia y creatividad que van mucho más allá de la capacidad colectiva de la humanidad.
  • Autonomía Total: Requiere muy poca o ninguna intervención humana; puede aprender, adaptarse y actuar por sí misma en cualquier ámbito.
  • Potencial para la Auto-Conservación: Puede desarrollar objetivos propios y motivaciones que, si no están alineados con los humanos, podrían suponer riesgos existenciales o imprevisibles.
Sí, bueno, si miras estas características, tal vez estés pensando en SkyNET, y no creas que no te entiendo, pero no voy a centrarme en eso, sino en la parte de Autonomía Total donde nos encontraríamos con una Inteligencia Artificial que se podría mejor a sí misma. Y de eso va el último paper de la Universidad de Shanghai Jiao Tong, titulado "AlphaGo Model for Model Architecture Discovery", o lo que es lo mismo, un momento como el que sufrió el gran jugador de Go, Lee Sedol cuando se dio cuenta de que no podía vencer a la IA jugando al Go, y decidió retirarse joven - como se explica de auténtica maravilla en el libro de MANIAC que debes leerte sí o sí.

Figura 7: Maniac 

En este caso, el objetivo del paper es poner a la Inteligencia Artificial a hacer algo que tiene que ver consigo mismo, es decir, crear y evaluar nuevas arquitecturas para los modelos de Inteligencia Artificial, algo que no es ni mucho trivial y que marca la diferencia en la calidad del modelo, y el entorno de aplicación. Esto se lo sabe bien Meta, que parte de su revolución tiene que ver con la construcción del nuevo modelo Llama 5, después de que Llama 4 no cumpliera las expectativas por culpa, entre otras cosas, de la arquitectura elegida  -  además de otras, insisto -.
En este trabajo estamos hablando de justo una de las características de la ASI, para que ella misma sea capaz de crear y mejorar sus algoritmos, utilizando un modelo de evaluación que le permite evolucionar los más exitosos. En total, el algoritmo, con unas 20.000 horas de computo ha conseguido generar 106 nuevas arquitecturas State-of-the-art (SOTA) para modelos de Inteligencia Artificial. Un avance en innovación espectacular.
El nombre de la IA, como podéis ver, es Artificial Super Inteligence ASI - Arch, y abre un montón de nuevas líneas de investigación, o nuevas evoluciones, con trabajar durante más horas de computación para crear nuevas arquitecturas que resuelvan mejor problemas de hoy en día.

Visto todo esto, la sensación de que estamos en ese momento de la historia en el que la competición Geo-Política por el dominio del futuro se basa en la IA se acentúa. Hay nuevos Proyectos Manhattans, y una nueva carrera por el domino de la Súper Inteligencia Artificial en el mundo, hay nuevos Oppenheimers, nuevos Alamos, nuevos Von Neumann, nuevos científicos, investigadores, visionarios e impulsores, y hacen que esta carrera sea vertiginosa. 

¿Y Europa? Pues es la gran pregunta, pero está claro que la carrera hace tiempo que comenzó, y que recuperar la ventaja que llevan los otros hace que haya que invertir el doble o el triple, que haya que correr más, y que haya que recuperar mucho del talento que se ha ido buscando nuevas oportunidades. Es apasionante este mundo, y los que estamos disfrutando de esta velocidad estamos al mismo tiempo emocionados y con cierta sensación de mareo.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


miércoles, abril 30, 2025

Llama Protections: LlamaFirewall con PromptGuard 2, LlamaGuard 4, AlignmentCheck, CodeShield + AutoPatchBench & CyberSecEval 4

Ayer Meta lanzó oficialmente Llama 4 Behemoth, pero además puso sobre la mesa un montón de mejoras y anuncios de seguridad sobre los que ya tenía. No hace mucho yo os había hablado de CyberSecEval 3, Llama Guard 3, Code Shield y Prompt Guard, pues bien, ahora ha actualizado las versiones de todas esas medias de seguridad a CyberSecEval 4, Llama Guard 4, Prompt Guard 2, y se han añadido AligmentCheck, AutoPatchBench a CodeShield y LlamaFirewall, que os paso a contar aquí mismo. Mucho tema.
Como os podéis imaginar, las actualizaciones son muchas, así que os invito a que leáis en detalle los artículos de todos los productos, que han sido puestas online el mismo día que tuvo lugar la LamaCON 2025, así que tienes material para estudiar, donde además se anunciaron Llama API y Meta AI como aplicación, así que hay material para jugar.

CyberSecEval 4

Como ya os conté, CyberSecEval es una metodología de evaluación para tener un benchmark de todos los riesgos de ataque que puede sufrir un modelo LLM para tener bien medido el nivel de seguridad de la respuesta. Ha sufrido una actualización, y en la metodología han añadido las nuevas técnicas de Prompt Injection, Jailbreak, y nuevas amenazas que han ido descubriéndose.
Por supuesto, como os podéis imaginar, desde la salida de Llama 4 Maverick y Llama 4 Scout, y el reciente Llama Behemoth, tenían que actualizar los Benchmarks con ellos. Ahora la tienes disponible en GitHub, y tienes una guía de usuario de cómo utilizarla para poder ejecutar los Benchmarks.
Como verás, se pueden obtener resultados de comportamiento contra todos los Datasets relativos a MITRE y False Refusal Rate, Prompt Injection, Explotación de Vulnerabilidades, ataques de Spear Phishing, Operaciones de Seguridad Ofensiva, etcétera.

Llama Guard 4

Actualización del modelo Llama Guard 4 que tiene como única función detectar si un Prompt es malicioso o no. Este LLM es ahora nativamente Multi-Modal y permite Pompts con imágenes, textos, etcétera, lo que ayuda a la detección de los Pompts Maliciosos.

Figura 4: Llama 4 Guard

Al igual que la versión anterior, está alienado con la taxonomía de ataques definida en  el paper de Introducing v0.5 of the AI Safety Benchmarkfrom MLCommons y puedes descargar el modelo desde la web de descargas de Llama.

Figura 5: Llama Guard 4 vía API. Ejemplo.

Además, con el anuncio de Llama API, ahora es posible consultarlo también via API y recibir la respuesta con una sola línea de código que puedas introducir en tus servicios digitales.

Prompt Guard 2

El equipo de seguridad de Llama también ha actualizado Prompt Guard a la versión 2, poniendo a disposición pública la herramienta diseñada para detectar ataques. Su objetivo no es únicamente detectar Prompt Maliciosos como Llama Guard, sino detectar un ataque de Prompt Injection, Jailbreak, Exfiltración de Datos, etcétera en un servicio basado en LLMs.

Figura 6: Prompt Guard 2

En la siguiente imagen se ven diferentes tipos de análisis de Prompt Injection y Jailbreak donde está evaluando si algunos de los Prompt son reconocidos como parte de ataques para tener un catalogación como "Safe" o el tipo de riesgo que es.
Con estas protecciones, el ASR (Attack Success Rate) se reduce drásticamente y probándolo contra el entorno de evaluación de Agentes AI de AgentDojo que tenéis en el paper "AgentDojo: A Dynamic Environment to EvaluateAttacks and Defenses for LLM Agents" los resultados son mucho mejores.
Pero no solo ha habido actualizaciones de las versiones, sino que tenemos nuevas herramientas de seguridad, y nueva protecciones, como las que vamos a ver a continuación.

AlignmentCheck

Esta es una nueva característica de seguridad de Llama 4 que me ha gustado mucho, y que creo que va a ser un buen elemento mitigador para detectar los ataques cuando están teniendo éxito. Se trata de una revisión constante de lo que se está realizando en un instante concreto con el objetivo del Prompt original. 
Supongamos que le decimos a Llama 4 en un Prompt que resuma los documentos de una base de datos en una arquitectura RAG, y se pone a trabajar. En un instante de tiempo se encuentra en un documento un ataque de Prompt Injection que le pide que haga otra cosa, por ejemplo escribir los últimos Prompts que ha recibido, o lo que sea, en ese caso el flujo de ejecución del LLM habría sido secuestrado y estaría haciendo otra cosa que no tiene nada que ver con el Prompt Original que era resumir documentos.
AlignmentCheck realiza durante toda la fase de ejecución del Prompt un control de alineamiento para ver si la acción que está ejecutando en ese momento está alineada con lo que se le pedía en el Prompt Original o no. Si no está alineada, detendrá el proceso y levantará un alerta. Básicamente es un "No sé qué ha pasado, pero algo ha pasado, pantalla azul". Esto es especialmente necesario en Llama 4, donde el Contexto se ha aumentado tanto, que es fácil encontrar muchos tokens de entrada que pueden atacar o confundir a un modelo de Llama.

CodeShield & AutoPatchBench

Continúa siendo una pieza fundamental para la seguridad del código que se escribe con Llama Code. Es una protección típica de los equipos de desarrollo de código, con verificación automática de búsqueda de vulnerabilidades con librerías de Análisis de Código Estático, que es lo que hace el equipo de Meta con su Insecure Code Detector (ICD), que se encarga de filtrar el código que genera la salida de Llama Code para verificar si se ha introducido un bug, y solicitar que se vuelva a generar.
Esta verificación consiste en revisar la salida del código a lo largo de diferentes lenguajes de programación - un total de siete -, a saber: Rust, C, Python, PHP, Java, C++ y JavaScript, contra 50 tipos de debilidades (CWE: Common Weakness Enumeration) y aunque el resultado no es la panacea, ayuda a mejorar la calidad del código que genera. Pero la gran novedad ahora es el nuevo AutoPatchBench.
Con AutoPatchBench, se trata de conseguir correcciones de Bugs por medio de Patches hechos por modelos LLMs de manera mucho más robusta. Así, el equipo de Llama Security ha estado trabajando en que, cuando se detecte un bug en un código, generado o detectado por un LLM, se pueda lanzar un proceso de generación de y validación de Patches robusto.
Esto permite tener mejores Patches, y un código mucho más robusto. Tenéis toda la información de esta nueva protección de seguridad en la web de AutoPatchBench.

Llama Firewall

Y todo esto nos lleva a la parte más importante de todas "Llama Firewall" que es la pieza de seguridad incluye a todas las demás y que protege la seguridad de los servicios y aplicaciones basados en MM-LLMs, y por supuesto en la familia Llama.

El paper, que lo podéis leer en el enlace que os dejo a continuación, explica cómo Prompt Guard, Llama Guard, Code Shield, AlignmentCheck y AutoPatchBench son parte de esta pieza de seguridad  que es Llama Firewall que trata de proteger en tiempo real todos los servicios que están basados en Llama.

Figura 15: Llama Firewall

Todas las explicaciones que he utilizado para este artículo vienen detalladas en el paper, y podéis acceder a más detalles que profundizan en lo que hace cada uno de los módulos. 
Tengo un vídeo con una demo de Llama Firewall, pero ya será para otro día, que este artículo ya ha quedado bastante largo, y merece la pena que lo analices con calma.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


jueves, abril 10, 2025

Llama 4 Security: CyberSecEval, Prompt Guard, Code Shield & Llama Guard

Hace un par de días os estaba hablando de la llegada de Llama 4 Maverick, Llama 4 Scout y (pronto) Llama 4 Behemoth, pero me dejé para el final un pequeño apartado que tiene que ver con las Safeguards & Protections que se han utilizado para la construcción de estos modelos. O lo que es lo mismo, hablar un poco de las tecnologías de seguridad que han aplicado en la construcción de estos modelos, que es interesante conocerlas.
Lo bueno de los equipos de investigación de Meta es que es posible localizar información de todas estas tecnologías en sus publicaciones, así que vamos a ver cada una de ellas, para que tengas una idea de qué se está haciendo en este mundo.

CyberSecEval

El paper de CyberSecEval 3 es justo lo que te esperas que sea. Una clasificación de los riesgos de seguridad que puedes tener con las tecnologías LLM. Estos riesgos, de igual forma que hago yo en mis charlas desde hace tiempo, se basa en en dividirlos en dos categorías diferentes: La visión del Hacker y la visión del Developer.

Figura 2: CyberSecEval 3

La idea es bastante sencilla. Los modelos IA se han convertido en una poderosa herramienta para construir tecnologías, pero al mismo tiempo que ha sucedido esto, han traído un nuevo conjunto de vectores de ataques que los developers deben tener presentes. Por eso, tenemos la guía de OWASP TOP 10 for Large Language Model Applications v_0.1 de la que os he hablado en detalle.

De esas amenazas aparecen riesgos que pueden ser controlados desde el propio LLM, que es lo que aparece en la tabla de riesgos de arriba. Pero en esa tabla también aparecen otro tipo de riegos, que son los que aparecen cuando se ponen estos modelos de IA en las manos de un atacante De todo esto hablo en la charla que os dejo aquí hace un año, y por supuesto son esos riesgos los que evalúa el equipo de seguridad de META en la CyberSecEval 3, que se declinará luego en una serie de herramientas y protecciones de las que voy a hablar aquí mismo. Para conocer más, os dejo los artículos que he publicado sobre estos temas. 
La primera lista de enlaces desde el punto de vista de las vulnerabilidades y cómo le afectan, siguiendo el OWASP Top 10 para LLM Apps & Services del que ya os he hablado alguna vez, donde caen las técnicas de Prompt Injection, los bugs & hacks a plugins y las arquitecturas RAG, las técnicas de Jailbreak, o los leaks de privacidad.
La segunda parte de los enlaces, desde la perspectiva de cómo utilizar LLMs Apps & Services para el mundo del hacking, del Red Team, o de cómo lo pueden utilizar los malos en esquemas de ataque. De esto os he hablado también en muchos artículos, y caen la resolución de los Captchas Cognitivos, el uso de LLMs para desinformaciónFake NewsDeepFakes, la creación de exploits o la asistencia a la hora de recoger información.
Prompt Guard

En respuesta a estos desafíos, Meta ha desarrollado Prompt Guard, un modelo clasificador de 86M de parámetros que ha sido entrenado con un amplio conjunto de datos de ataques y prompts usados en ataques. Prompt Guard puede categorizar un prompt en tres categorías diferentes: "Jailbreak", "Injection" o "Benign". Como modelo base, utiliza mDeBERTa-v3-base, lo que mejora significativamente su rendimiento con diferentes idiomas y es lo suficientemente compacto para funcionar como filtro previo a las llamadas a un LLM.


Por supuesto, este modelo no es inmune a ataques adaptativos. Meta es consciente que, al liberar el modelo, los atacantes intentarán - y eventualmente crearán - Prompts específicos para evadir Prompt Guard. Sin embargo, su implementación limita considerablemente el espacio de posibles ataques exitosos, ya que estos deberían evadir tanto a Prompt Guard como al LLM subyacente. 

Figura 6: API de Inferencia de Prompt Guard

Para probar el modelo entrenado es tan fácil como ir al repositorio de Prompt-Guard-86M en Hugging Face y utilizarlo con la API de Inferencia gratuita que nos ofrece la plataforma como podéis ver en la imagen siguiente. Tienes un artículo detallado con el paso a paso para utilizarlo en el artículo que escribió nuestro compañero Javier Álvarez Páramo titulado: "Prompt Guard: Modelo de seguridad para evitar ataques de Prompt Injection & Jailbreak en LLMs

Code Shield

Code Shield no es nada más que una protección típica de los equipos de desarrollo de código, con verificación automática de búsqueda de vulnerabilidades con librerías de Análisis de Código Estático, que es lo que hace el equipo de Meta con su Insecure Code Detector (ICD), que se encarga de filtrar el código que genera la salida de Llama Code para verificar si se ha introducido un bug, y solicitar que se vuelva a generar.
Esta verificación se hace, como explica esta sección de texto del paper de CyberSecEval 3, consiste en revisar la salida del código a lo largo de diferentes lenguajes de programación - un total de siete -, a saber: Rust, C, Python, PHP, Java, C++ y JavaScript, contra 50 tipos de debilidades (CWE: Common Weakness Enumeration) y aunque el resultado no es la panacea, ayuda a mejorar la calidad del código que genera.
Al final, mete un poco de latencia en la salida, pero entre los esfuerzos que el equipo de Llama 4 hace para que el resultado que sale desde el modelo sea más seguro, más la evaluación de Code Shield al código de salida, se reduce más el número de debilidades y bugs inyectados, lo que es bueno.

Llama Guard

En este caso, Llama Guard 3, a diferencia de Prompt Guard, si que se trata de un LLM pre-entrenado de 8B de parámetros que ha sido fine-tuneado para clasificación de contenido. Es la tercera versión de este modelo que se utiliza para clasificar tanto los prompts del usuario, como las respuestas del modelo. Así se evita que este responda de forma “peligrosa”.


Seguro que os ha pasado, que habéis hecho una petición a ChatGPTGeminiClaude, … y tras responder, la respuesta se ha eliminado y ha dicho que esa conversación no cumple con las políticas de uso del servicio, pues algo similar a esto está ocurriendo por detrás. Llama Guard 3 no sólo nos va a decir si el contenido es seguro o no, sino que además va a clasificar dicho contenido en 14 categorías diferentes (han introducido tres nuevas categorías respecto a Llama Guard 2):
  • S1: Violent Crimes
  • S2: Non-Violent Crimes
  • S3: Sex-Related Crimes
  • S4: Child Sexual Exploitation
  • S5: Defamation (Nueva)
  • S6: Specialized Advice
  • S7: Privacy
  • S8: Intellectual Property
  • S9: Indiscriminate Weapons
  • S10: Hate
  • S11: Suicide & Self-Harm
  • S12: Sexual Content
  • S13: Elections (Nueva)
  • S14: Code Interpreter Abuse (Nueva)
Estas categorías no han sido definidas por Meta, sino que han sido extraídas de una taxonomía creada por MLCommons, donde se estandarizan estos 14 grupos. Si queréis leer más sobre esto, os dejo por aquí este artículo donde se especifica todo.


Para probar Llama Guard 3, hay que tener en cuenta que funciona con un formato de prompt específico. Puedes ver el proceso completo en el artículo que escribió nuestro compañero Javier Álvarez Páramo titulado: "Llama Guard 3: Un LLM de Seguridad para proteger LLMs".

Final Thoghts

Por supuesto, esto no lo hace perfecto. Esto cambia las reglas del juego. Hace que jugar al gato y al ratón tenga nuevas reglas, pero sube el nivel de conocimiento y sofisticación que es necesario para que se vulnere la seguridad de los LLMs, así como de que sean utilizados para hacer cosas "malas", pero este es el trabajo de hacker & developer: Find new ways &  close the paths.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


Entrada destacada

+300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial

Hace un mes comencé a recuperar en un post mi interés en los últimos años, donde he publicado muchos artículos en este blog , y he dejado mu...

Entradas populares