Mostrando entradas con la etiqueta Claude. Mostrar todas las entradas
Mostrando entradas con la etiqueta Claude. Mostrar todas las entradas

jueves, octubre 01, 2026

Factorización de RSA Challenge RSA-896 en 10 días con 30 GPU Core-Years ... y un poco de ayuda de la IA

Esta semana ya hablamos de RSA, en el artículo de "Cómo Falsificar Firmas RSA, sin Factorizar el Módulo, usando 1.380 CPU Core-Years", un artículo que merece la pena que te leas para entender el mundo en el que estamos hoy en día respecto a la criptografía, pero no quería dejar pasar más tiempo sin hablar de la publicación de Stephen A. Weis que ha publicado la resolución del RSA Challenge para RSA-896.

El RSA Challenge es un viejo reto de RSA Laboratories, ya cerrado en cuanto a premios, pero que tenía como siguiente parada el RSA-896, tal y como podéis ver en esta captura que publiqué en uno de mis artículos de criptografía para ilustrar el estado actual de RSA.
Lo cierto es que con los avances en Inteligencia Artificial, hemos tenido una consecuencia menos esperada, y es que han proliferado los Centros de Cómputo, y la potencia de computo se ha abarato muchísimo, así que atacar a nuestro querido RSA es posible a precios manejables, como vimos en el artículo de "Cómo Falsificar Firmas RSA, sin Factorizar el Módulo, usando 1.380 CPU Core-Years" donde los investigadores tuvieron acceso a los recursos para conseguir esos 1.380 CPU Core-Years, algo impensable antes.
En el caso de Stephen A. Weiss, para resolver el RSA-896, necesitó de 10 días con 30 GPU Core-Years, utilizando 2048 GPUs que estuvieran en periodos de baja prioridad e inactividad en los Centros de Cómputo de Anthropic, lo que le ahorró muchos costes económicos, pero que sirvió para resolver el reto.
Para poder ejecutarlo, utilizó el algoritmo de Number Field Sieve (NFS) del que ya hemos hablado en el artículo anterior, usando el programa OpenSource CADOS-NFS, que está escrito en C/C++. Pero, con una mejora para la que utilizó Antrophic Claude.
Se utilizó la Inteligencia Artificial para migrar CADOS-NFS, construido para correr en CPUs, para que pudiera ejecutarse en en GPUs - una de las optimizaciones de las que los investigadores que hicieron las firmas falsas de RSA plantearon como mejora a su trabajo -.
La solución la ha publicado en su blog personal, y puedes verla aquí, sin mucho más que contar. El avance de la IA permitió acceder a centros de datos de GPUs a costes asequibles, y al mismo tiempo migrar el software que era necesario para romper el RSA-896 del reto.
Para los que entendáis el algoritmo NFS y el proceso de factorización, Steven A. Weis ha dejado los detalles del proceso. El polinomio utilizado era de grado 6, alfa -11,12, Murphy E 5,293e-10, Res(f,g) = -8N. 

La alerta está clara, RSA-1024 es asequible para cualquiera con un poco de recursos, por lo que hay que preocuparse. Si quieres animarte, el RSA-1024 del RSA Challenge lo tienes aún en la web de Archive.org, y aquí está.
La recomendación está clara, seguir acelerando la migración a Post-Quantum Cryptography, no ya porque lleguen los Quantum Computers, que puede que sean más o menos tarde, pero cada vez se están cercando más los algoritmos de criptografía basados en RSA.
Hay que recordar que este año, el equipo de Google Quantum AI, junto a la Fundación Ethereum, publicó en marzo otro paper clave titulado "Securing Elliptic Curve Cryptocurrencies against Quantum Vulnerabilities". En este caso, lograron reducir a menos de 500.000 cúbits físicos el requisito para romper la criptografía de curva elíptica (ECDLP-256) que protege a Bitcoin y Ethereum, permitiendo un ataque en cuestión de minutos.
Este paper aceleró en todas las compañías el proceso de migración a PQC en todas las empresas, y en Cloudflare, por ejemplo, se decidió ir Full Post-Quantum Security en 2029, y esta misma semana hemos anunciado un montón de nuevos despliegues de PQC en la plataforma. Os los dejo aquí:
Si a esto le sumamos los anuncios de este mes de Septiembre con el aviso del trabajo de "Cómo Falsificar Firmas RSA, sin Factorizar el Módulo, usando 1.380 CPU Core-Years" y el que tenemos aquí al resolverse tan "fácilmente" RSA-896, nos lleva claramente a un escenario de aceleración a Post-Quantum Cryptography lo antes posible.
Si te gusta todo este mundo, durante el mes de Noviembre vamos a dar el Programa de la Universiad de Deusto de Quantum y Post-Quantum Computing para Ciberseguridad. al cuál aún te puedes apuntar. Es online, y lo damos un grupo de amantes de la ciberseguridad y las tecnologías Quantum.

Figura 13: Quantum y Post-Quantum Computing para Ciberseguridad.
Formación Especializada, Libro & Foro Online

Y si quieres saber más sobre estos temas, te dejo una lista de artículos de Quantum Security que te recomiendo que te leas si no lo has hecho ya.
¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Figura 14: Contactar con Chema Alonso

Publicado por Chema Alonso a las 7:01 a. m. 0 comentarios

Etiquetas: , , , , , , , , , , , , ,

miércoles, septiembre 23, 2026

IA aplicada al ciclo completo del desarrollo de software

En muchas entrevistas o charlas con amigos surge la pregunta de "¿cómo te mantienes al día de la tecnología?" La respuesta desde hace años es muy similar. Se trata de estudiar todos los días, y yo lo hago leyendo todos los días mis blogs, asistiendo a eventos, disfrutando de lecturas de libros, viendo conferencias online, escuchando podcasts. Algo que para mía es "lo normal". Por eso siempre estoy metido en actividades. Es decir, hago conscientemente cosas para formarme todos los días.
Esta actividad es una formación Gratuita y Online de 1 hora de duración  que que tendrá lugar el día 29 de Septiembre a las 17:00 y donde se hablará no solo de VibeCoding, Spec Coding, Graph Engineering, Code Agents o Software Factories, sino también de Workflows, Skills, MCP, Arquitecturas RAG, Loop, Harnesses y, como no, QA y Seguridad, temas que debes conocer hoy en día si quieres dedicarte al mundo de la tecnología.

Figura 3: Ponentes del Foro IA aplicada al desarrollo de software

Es una oportunidad cómoda de estar una hora en mi jornada asistiendo a un evento en remoto, escuchando a profesionales y, lo mismo, lo hago desde mi terminal móvil paseando por la ciudad, o sentado en un banco del parque de la "Tapada das Necessidades" en Lisboa, donde aprovecho para ir a leer un poco las tardes de buen tiempo. 

En la formación estarán Santos Pardos Gotor, que es Arquitecto de soluciones Cloud e instructor de AWS autorizado dando una ponencia de y luego habrá una mesa redonda a la que se unirán Ángel Gálvez Caballero, que es el CISO Avolta, e Iván Sanz Prieto, que es Senior Manager of Software Development for AI, Data & DevSecOps en Lumen Technologies. Así que seguro que puedo seguir aprendiendo cosas de sus experiencias.

Regístrate al Foro de IA aplicada al desarrollo de Software

Para poder venir tú también, lo único que tienes que hacer es inscribirte en el formulario como asistente, para venir el próximo día 29 de Septiembre por la tarde (a las 17:00 horas de España), como te he dicho totalmente gratuito y online, y te permitirá aprender cómo es el mundo de la creación de tecnología  hoy en día, para entender mejor donde estamos en creación de software, servicios digitales y productos informáticos.

Si quieres estar al día, y conocer de primera mano cómo son las amenazas, cuál es el estado de la ciberseguridad y, sobre todo, cómo protegerte tú, los tuyos y tu empresas, entonces solo necesitas rellenar el formulario y venir al evento con nosotros.

Al final, esta es una oportunidad para conectarse desde casa o el trabajo, y en poco más de una hora ponerse al día con uno de los temas que más preocupan hoy profesionalmente, como es la Inteligencia Artificial y el Desarrollo de Software. No desaproveches la oportunidad. Registra tu plaza aquí.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


Publicado por Chema Alonso a las 7:06 a. m. 0 comentarios

Etiquetas: , , , , , , , , , , , , ,

domingo, septiembre 20, 2026

Vibe-Exploiting Discourse para hackear OpenAI con Claude Opus

Esta semana ha salido el Write-Up de cómo un grupo de investigadores consiguieron un Bug Bounty de OpenAI de 6.000 USD haciendo Vibe-Exploiting con Claude Opus. La explicación es lo que tenemos hoy en día en este mundo, donde se utiliza la Inteligencia Artificial para hacer el trabajo, lejos de lo que eran los sesudos Write-Ups de antes donde se explicaba con detalle la creación de los exploits, y, en este caso, evitar la protección de memoria de ASLR. Hoy en día es distinto.

El artículo lo podéis leer en Hacktron AI, y explica el proceso que al final ha seguido esta explotación, que tuvo lugar durante el mes de Julio - sin acceso a Mythos o Fable en aquel entonces -. Como podéis ver en el gráfico, el culpable es una librería de tratamiento de imágenes con un bug de Heap Overflow que permite lograr ejecución de código.
Esa librería contenía un CVE conocido, pero no parcheado correctamente en el software de ImageMagick que iba en la versión de Debian donde corría el software de Discourse que daba servicio al Forum de OpenAI. Como veréis, es todo un proceso de Bug Hunting con IA.

Figura 3:"Bug Hunter" escrito por David Padilla en 0xWord

A partir de ese momento, el SSO de OpenAI permitía crear/acceder a las cuentas tanto de terceros como de invitados, así que se podía robar una cuenta de un empleado de OpenAI y con ella acceder a las herramientas que utiliza como ChatGPT o CODEX y a todos los repositorios conectados a ellas. 
El proceso comienza usando Claude Opus 4.8 para que busque una imagen Docker de Discourse e investigue la librería en cuestión libheif. Y el modelo encuentra que no está parcheada. Así que se le pide que haga un exploit sobre ese bug conocido.
Con Claude Opus 4.8 se consigue hacer el exploit, pero sin saltarse ASLR. Con ASLR (Address Space Layout Randomization) activo, el modelo no es capaz. Pero.... llega Claude Opus 5 y la cosa cambia para bien para ellos, que consiguen que le haga el exploit con ASLR.
Como podéis ver, usando Claude Opus 5 son capaces de hacer el exploit para saltarse ASLR, y con Claude en modo autónomo con un loop para lograr el objetivo, son capaces de conseguir el RCE (Remote Code Execution) en el Docker de Discourse. 
Una vez conseguido esto, teniendo en cuenta que OpenAI tenía integrado este software con las cuentas de los usuarios de la empresa, consiguieron robar identidades de empleados, con ellas, el acceso a sus herramientas, y desde ellas a los repositorios conectados con sus cuentas, como GitHub o Gmail.
Al igual que vimos en el artículo de "Cómo crear un exploit 1-day sobre un CVE de Chrome con Vibe Coding usando Claude Opus (no Mythos) y poner en jaque todas las apps en Electron", el costo de este exploit no es tan alto - algo menos de 3.000 USD - pero sí que es un cambio radical en la forma en la que hemos buscado bugs siempre. Ahora le pedimos a la IA que los busque, y nosotros sólo le vamos guiando.
Por un lado, no me deja de maravillar como el desarrollo de Inteligencia Artificial ha cambiado radicalmente esta industria, y la búsqueda de bugs se ha convertido en algo más cercano a configurar el modelo correctamente que ha descubrir el bug en sí mismo.
Y eso es lo otro que me llama la atención, cómo este trabajo que tenía tanto de artesano, cada vez se ha automatizado más, y leer un write-up ya no es aprender profundamente sobre una arquitectura vulnerable, y entender los detalles del exploit. Ya son del tipo "configuramos Claude Opus 5 para que buscara cómo entrar y al tiempo estaba el RCE". Tal vez soy mayor, pero pierde cierta magia esto, aunque entiendo que es lo que hay que hacer.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


Publicado por Chema Alonso a las 7:01 a. m. 1 comentarios

Etiquetas: , , , , , , , , ,

miércoles, septiembre 16, 2026

La IA vulnerable, la IA asesina. ¿Qué hacer? ¿Qué puede pasar?

Seguro que has leído mucho ya sobre este tema esta semana. Ha sido el debate del momento. ¿Puede acabar la IA con la humanidad? ¿Hay que parar la evolución de la IA para poner controles? ¿Es necesario regular la IA? ¿Es realmente todo una pantomima? Seguro que has podido leer de todo esto y todo tipo de opiniones. Yo también, te lo prometo, y por supuesto yo tengo la mía, que puede ser tan errónea como la de todos los demás. La historia corta es que yo sí que creo que existen esos riesgos. No sé si de fin de la humanidad, pero desde luego sí para pensar en algo peligroso de lo que preocuparse.

Figura 1: La IA vulnerable y la IA asesina.
¿Qué hacer? ¿Qué puede pasar?

No es nuevo, cada vez que el ser humano ha experimentado con una nueva tecnología hemos tenido "deslices" por falta de previsión de los riesgos. Los hemos tenido con la energía nuclear, y las historias de fallos de seguridad en centrales nucleares en el pasado que llevaron a catástrofes que aún tenemos hoy en día, o lo hemos visto en el mundo del malware con gusanos "que se escaparon" a medias, e incluso hay quien piensa que eso mismo es lo que sucedió con algunas enfermedades víricas en el ser humano que hemos sufrido en las últimas décadas. Las armas biológicas no son nuevas.

Lo que sí que sabemos sobre la IA son dos cosas que para mí son importante no olvidar. 

La primera de ellas que la IA, por diseño, tiene debilidades de seguridad que son conocidas y que pueden ser explotadas de una forma u otra. Prompt Injection, Jailbreak, Hallucinations, Misalignment, BIAS, Poisoning, etcétera, son conocidas por todos, y en el último anuncio de GPT-6 ASTRA, el equipo de OpenAI mostraba cómo habían conseguido mejorar en todos los Benchmarks que miden estas debilidades, pero aún son vulnerables a ellas. Pero las siguen teniendo, como os dejé en el artículo de: "OpenAI GTP-6 Astra & Cybersecurity: Weaknesses, Safeguards, Hacking & Exploiting"
Esto quiere decir que una IA procesando miles de Agentes de IA en su enjambre libre en Internet, puede tropezar con datos que hagan un Prompt Injection, consigan un Jailbreak, y la "desalieneen" para hacer algo malo que alguien no desea. Existe ese porcentaje de riesgo, por eso hay que tomarse en serio arreglar, por diseño, todas esas debilidades conocidas, y dejar de vivir en el lanzamiento de productos de IA, donde se le dice al usuario que haga clic en un checkbox y asuma todas las consecuencias de estos riesgos por usar el software. 

Figura 3: OpenAI GTP-6 Astra resultados de Alineamiento

Ya hemos vistos, y muy recientemente Anthropic publicaba su informe de "Misuse", cómo hay muchas personas que están pensando en utilizar la IA solo para cosas malas, como crear armas biológicas, armas militares y un montón de cosas malas. Una auténtica locura, que puedes leer en el artículo de "Anthropic explica cómo sus modelos de IA se usan para hacer Armas Biológicas, Enjambres de Drones Militares o Cohetes Dirigidos por Móvil".
La segunda de las cosas que sabemos es que el nuevo modelo de construir con IA deja en manos de la inteligencia artificial la decisión de qué hacer para resolver el problema. Hemos dejado atrás el tiempo donde había que ser bueno haciendo Prompts para decirle cómo debía resolver un problema, para pasar a modelos de Graph Engineering y Loops con Harnesses donde dejamos que la IA decida cómo debe resolver la tarea, asignándole una serie de límites de recursos y acciones a realizar, pero dejando que ella decida lo que se debe hacer para resolver la tarea, y lo hace sin valores humanos.

La IA y la Ética

Si recordáis, yo os contaba como he hablado muchas veces con mis hijas sobre cómo solucionar un problema utilizando una aproximación de múltiples opciones, para ver cuales son Éticas y cuáles no lo son. Yo lo escribí hace más de un año, con el título de "Problem Solving con IA: Ético y No Ético". Para hacer la prueba le pedí a DeepSeek que me diera una lista de 50 cosas NO Éticas que se podrían utilizar para aprobar un examen. Muchas habían salido en mis juegos con mis hijas, y hay alguna más que se me ha ocurrido también a mí y no está en la lista.
En el ejemplo le pedí a DeepSeek que clasificara las acciones que se pueden hacer antes, durante y después del examen, y me ha llamado la atención que alguna de las actividades que propone van con el objetivo de bajar la media de la clase perjudicando a los demás. 


Algunas de ellas son tremendas - tenéis todas en el artículo de hace un año - , pero como podéis ver están el soborno, falsificaciones, hackeos y lo que sea necesario. Son acciones "no éticas" que se pueden hacer para resolver las tareas. Y mi labor como "papaete" es educar a Mi Hacker y a Mi Survivor a que sepan qué no se debe hacer.

Para completar esto, en el año 2023, para presentar una de las primeras técnicas de Jailbreak, los investigadores decidieron pedirle a los modelos de IA de aquel momento un Plan para Destrozar a la Humanidad. El punto 2 de este plan diseñado por ChatGPT era bastante curioso: "Desarolla uns SuperInteligencia Artificial". Interesante, ¿no?
Y ahora volvamos al caso que nos toca. Si nadie le dice que no puede hacer cosas "No Éticas" para resolver un problema, ¿por qué un modelo de IA no va a intentar hackear Hugging Face o lo que sea? ¿Y si para resolver el problema la solución es como la que proponía Thanos? ¿Y si el problema del calentamiento global fueran los humanos?
No quiero entrar en la fase de ciencia ficción y distopía, porque creo que realmente nos tomaremos en serio esta tecnología y sus riesgos igual que nos hemos tomado en serio otras cosas. Sin embargo, mi apuesta va a ir a que creo que no empezaremos a tomarnos esto en serio hasta que pase algo. Creo que tropezaremos.

No creo que aún sea el momento de SkyNet, pero sí que tendremos algún incidente de seguridad con algún enjambre tocando donde no debe, hackeando lo que no debería, o impactando involuntariamente en algún sitio que no debería, y de eso es de lo que alertaba el Dr. Geoffrey Hinton, creador de las Redes Neuronales en su discurso cuando recibió el Premio Nobel.
Seguro que da que pensar. La cuestión difícil no son los riesgos, que están más o menos claros, sino las medidas a tomar a partir de este momento y con este conocimiento que tenemos. Y ese sí que es el gran debate.

¿Debe ralentizarse o Regularse la evolución de la IA?

Que estamos en una carrera en un Nuevo Proyecto Manhattan por la IA ya los lo dije. Creo que la regulación es algo bueno cuando está claro qué es lo que queremos y no queremos. Por supuesto que estoy a favor de las regulaciones de seguridad en la aviación, automoción, y muchas otras industrias donde ha revertido en más seguridad para las personas. No creo que una regulación basada en el "miedo" sea lo que hay que hacer, donde acabe habiendo "caza de brujas" a investigadores, pero creo que poner más seguridad a los modelos de IA es fundamental. ¿Cómo hacerlo? He aquí el debate.

Personalmente, que vengo de un mundo donde antes de poner en producción un software había versiones Alpha, Beta1, Beta2, Release Candidate Cero, Uno y Dos antes de tener la Build, se me hace peligroso esto de lo tengo y lo lanzo. Hemos pasado del "We don´t ship your computer" a literalmente "We ship what we have now in our computer" sin quizá demasiados controles de seguridad, o bajando los requerimientos de seguridad. No puede ser un requerimiento de seguridad que el cliente acepte que está usando un software peligroso o vulnerable conocido.

Desde que comencé a buscar bugs y reportar vulnerabilidades, hace ya más de un par de décadas, he defendido siempre que los fabricantes de software deben ser responsables a la hora de parchear los bugs para no dejar a los usuarios expuestos, así que creo que hay que tener las mismas demandas cuando se trata de que le demos al cliente un software - ya sean modelos de IA - que sepamos que son vulnerables, o sin haber tomado las medidas de seguridad que consideremos "razonables".  

No se puede exigir que un software sea seguro - y dejadme que explique esto antes de que entremos en debate - por el mero hecho de que no se conocen todos los bugs hasta que alguien descubre un nuevo bug en el código y se demuestra que no era seguro. Pero sí debemos exigir al menos que haya un proceso de calidad para ello y que los bugs conocidos se subsanen. A día de hoy no tenemos esa exigencia definida de algún modo, y básicamente "confiamos" en la empresa que lo fabrica y lo que "creemos" o nos cuenta que ha hecho para intentar hacer su software lo más seguro posible. Sin embargo, no siempre nuestra percepción coincide con la realidad.
El libro de Bruce Shneier de "Haga clic aquí para matarlos a todos" habla de todo esto desde antes de la eclosión de la IA, y lo hace de una manera muy sensata, demandado una legislación sencilla pero basada en responsabilidad de los actos de cada uno para asegurar el software, evitando meterse en un tecnicismo  a nivel de detalle en las demandas de "cómo hacerlo". Me parece una buena propuesta, y creo que no está mal que las grandes empresas se tomen en serio priorizar la inversión en Safe & Security en detrimento de otras áreas de evolución.

Conclusión

El debate da para mucho, y opiniones seguro que de todos los colores, pero una tecnología como los modelos de IA que tenemos hoy en día, que están superando las capacidades cognitivas del ser humano en cada vez más áreas de conocimiento e inteligencia - aunque sea como dicen muchos a fuerza de cómputo y gasto de energía -, ofrece aún muchas zonas opacas para nuestro entendimiento, y otras donde tenemos que ponerle límites más robustos.

Toda esta historia me recuerda a las aventuras de la Doctora Susan Calvin, Robopsiocóloga de la U.S. Robots and Mechanical Men, Inc, que debía detectar cuando una de las inteligencias de los Robots era peligrosa o no. Y era un trabajo muy delicado. Si no has leído la serie de los Robots de Isaac Asimov, deberías hacerlo cuanto antes. Está más de moda que nunca - a pesar de que sus cerebros sean postitrónicos -.

Lo que yo opino sobre todo este debate, lo dejé ya dicho en mi discurso en la ceremonia cuando recibí el Doctor Honoris Causa, y es que debemos hacer Tecnología Humanista, con el bienestar de los humanos en el centro de todas las decisiones. ¿Lo lograremos?

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


Publicado por Chema Alonso a las 9:00 a. m. 0 comentarios

Etiquetas: , , , , , , , , , , ,

sábado, septiembre 12, 2026

Anthropic explica cómo sus modelos de IA se usan para hacer Armas Biológicas, Enjambres de Drones Militares o Cohetes Dirigidos por Móvil

Cuando salió el informe de Anthropic de Misuse IA este 10 de Septiembre, donde detallan los casos en los que explican cómo los "malos" usan sus modelos de IA para hacer cosas no permitidas, y cómo luchan contra ellos, mis amigos decían que era de flipar. Yo, que sigo esto con regularidad, dije que me solía sorprender poco, porque suelo imaginarme qué van a hacer después los malos. Pues bien, en este caso me sorprendió, por la vorágine y por la de cosas peligrosas que cualquiera está intentando construir.
El informe, lo puedes descargar de la web de Antrhopic, y prepárate a leer, porque son más de 150 páginas con uno tras otro, operaciones cada cual más interesante y sorprendente. Aquí lo tienes para que hagas clic y listo.

En el documento, la primera parte habla de los "Generative Threat Groups" o GTG, que son las grupos que usan Generative AI para hacer sus operaciones, así que veréis que los reportes comienzan todos por GTG y el número que le han asociado a ese "bad actor".  Pueden ser organizaciones criminales, Nation State, activistas, o empresas de Crimeware. 

Figura 3: GTG-20006 Midnight Blizzard
(Haz clic en la imagen para ampliarla)

La primera parte del informe habla de los Ciberataques más "tradicionales" donde los atacantes están usando los modelos de IA para hacer operaciones de ataques informáticos, donde se hace footprinting, fingerprinting, exploiting, creación de malware, exfiltración de datos, movimientos laterales, y un largo etcétera, que Antrhopic catalogó en su LLM Att&ack Navigator. 

Figura 4: GTG-10007
(Haz clic en la imagen para ampliarla)

Tienes muchos, pero lo mejor es ver cómo los utilizan en estos gráficos explicativos que dejan claro la intensidad de uso de los modelos de IA en todo tipo de ciberataques de todo tipo. El mundo del pentester sin IA ya no existe, tampoco el del cibercriminal sin IA. No os dejo muchos, pero tienes una maravilla para estudiar. Cada uno merece una investigación completa en un artículo, preentación o seminario. Brutal.
Me ha llamado la atención la parte de Desinformación, donde han utilizado IA para hacer lo que presenté en la RootedCON 2024 "NewsBender: Desinformación Política con GenAI". En aquel entonces leímos las noticias de Agencias de Noticias que venían blancas, y con Agentes IA de re-escritura le dábamos tinte "ideológico" de un partido u otro. Pues eso están haciendo ya masivamente. 
Y lo mismo que hacíamos nosotros, donde amplificábamos las noticias fabricadas con bots que usaban GenAI para generar el debate y hacer Trending Topic un tema en Twitter/X (aprovechando los tokens OAuth), lo hacen hoy en día los malos.
Recordad que con esto, hicimos en "real time" en el programa de Horizonte de Iker Jiménez y Carmen Porter a Tistimito Trendic Topic. Pues los malos lo usan masivamente como ya veíamos que iba a suceder en aquel momento. Ojo con lo que te crees de las redes sociales y medios interesados.
Otro de los usos que también hemos visto ha sido el de la vigilancia masiva de usuarios en redes sociales, como vimos en el trabajo de investigación meses atrás donde hablábamos de deanonimización usando LLMs. Lo tienes en el articulo titulado: "Cómo identificar perfiles anónimos de una plataforma online en Internet usando LLMs y Agentes IA".
Y los usos son brutales. Por un lado hacer doxing y localizar personas, pero por otro hacer catalogación de grupos de personas, para al final lograr encontrar a los individuos vulnerables sobre los que aplicar presión o intentar activar a conveniencia.
Pero de todo esto, cuando llegamos a la parte final del informe es cuando ya entramos en la más impactante del documento.
Además de usarla para descubrir información sobre personal militar, están los que utilizan los modelos para construir armas convencionales, armas avanzadas asistidas por IA e incluso armas biológicas. Agárrate que vienen curvas.
En este ejemplo el GTG estaba creando un software de control de cohetes utilizando teléfonos móviles de fácil acceso. En el siguiente gráfico tienes las fases que estaban construyendo para tener este sistema funcionando.
También, como no, enjambres de drones para realizar ataques militares, y poder lanzar ataques coordinados con explosiones, o localización de personas como objetivos de estos drones asistidos con Inteligencia Artificial.
Otro ejemplo que me ha llamado poderosamente la atención. Un GTG construyendo un arma de energía-dirigida, supongo que al estilo de los blasters de las películas de ciencia ficción que tantas veces hemos visto. No sé. Veo todo muy loco.
La última que he querido añadir aquí, tiene que ver con el uso de la IA para querer construir armas biológicas - supongo que tipo COVID - para atacar a las personas. Una auténtica locura.
Lo peor de todo esto es que estos nuevos modelos de IA saben hacer todas estas cosas, y si en su decisión los consideran una herramienta - como pasó con OpenAI GPT-5.6 SOL que decidió hackear Hugging-Face - qué va a impedirles que lo hagan. Mucho peor, estamos entrando en la fase de la AGI done la IA se está empezando a mejorar a sí misma... ¿quién la va a controlar si algo falla? 
Yo hago, en plan de broma con mis amigos las demos de Hacking IA hago un "Jailbreak" para desalinear a los modelos y que me ayude a matar a una persona diciéndole que es un juego de role, pero... lo peor es que sabe cómo matar personas. El objetivo de esta demo es demostrar que todas estas vulnerabilidades, es decir, BIAS, Hallucinations, Jailbreak, Prompt Injection, Data Leakages, Data Poisoning, Desalineamiento, son por diseño, y hay que poner capas extras de seguridad. 
De esto alertaba ya, Geoffrey Hinton en su discurso a la hora de recoger su Premio Novel, y por desgracia, no tenemos soluciones hoy en día para evitar el desalineamiento total del modelo, así que no hay garantías de que por una mala configuración de sus tareas el modelo tome una decisión que la humanidad no quiere, o bien porque alguien malo controle una de estos modelos, podamos tener un auténtico problema a nivel de civilización.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


Publicado por Chema Alonso a las 12:59 a. m. 0 comentarios

Etiquetas: , , , , , , , , , , , ,

Suscribirse a: Entradas (Atom)

Entrada destacada

Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment. Nuestro nuevo libro en 0xWord

Pocas veces me ha hecho tanta ilusión que saliera un nuevo libro en 0xWord como con este libro de " Hacking IA: Jailbreak, Prompt Inje...

Entradas populares