Entrevista a Manuel S. Lemos: Hacking & Seguridad IA & OWASP GenAI Security Project

El mundo de la Inteligencia Artificial, y en concreto de la GenAI, ha traído un cambio brutal en el mundo empresarial, social y tecnológico. En concreto, los profesionales de Ciberseguridad hemos tenido que aprender nuevos conceptos, nuevas herramientas, nuevas metodologías de trabajo totalmente diferentes a cómo eran antes.

Figura 1: Entrevista a Manuel S. Lemos. 

Hacking & Seguridad IA & OWASP GenAI Security Project

Un de los proyectos que más impacto están teniendo en este cambio dentro de nuestra profesión es el OWASP GenAI Security Project, que ha desarrollado la guía de OWASP Top 10 for LLM Applications, además de una visión 360º de la seguridad, con herramientas para Blue Team y para Red Team.

Figura 2: OWASP GenAI Security Project

Uno de los profesionales que lleva años metido en este mundo, y que colabora como contribuidor de estos proyectos es Manuel Salvador Lemos Foncubierta, que además es CTO de Sincrolab, donde utilizan IA generativa para personalizar tratamientos neuropsicológicos, y está lanzando el proyecto de BeHumansX, una nueva startup enfocada en ayudar a organizaciones a integrar IA de forma segura, humana y responsable, con foco en Humanos Sintéticos y Ciberseguridad. 

Figura 3: Contactar con Manuel S. Lemos

Como estos temas son de total actualidad, y a mí me interesan muchísimo - ya lo sabéis si leéis este blog - le he hecho esta entrevista donde como veréis nos cuenta muchas cosas interesantes si te interesa este tema para hacer cosas. Aquí os la dejo, y si queréis contactar con él, ya sabéis que tiene su buzón en MyPublicInbox: Contactar con Manuel S. Lemos 

1.- Manuel, la primera pregunta es para los pentesters… ¿cómo utilizas tú la IA para hacer hacking?

En mi caso, más que usar la IA para hacer hacking, lo que hago es auditar sistemas que usan IA, que es otro mundo completamente distinto. Cuando una empresa mete un LLM en producción, suele asumir que es "inteligente" y, por tanto, "seguro". Pero no. Todo lo contrario.

Mi trabajo está en romper esa ilusión de seguridad, buscando cosas como prompt injection, data leakage por entrenamiento mal controlado, o fallos de diseño en arquitecturas tipo RAG o agentes autónomos. Me he encontrado con sistemas que, con una frase bien puesta, te devuelven información sensible, o modelos que puedes convencer para que se comporten de forma completamente opuesta a lo que esperan sus creadores.

Auditar IA no va solo de ver qué hace el modelo, sino de entender cómo y por qué responde lo que responde. Es un pentesting más lingüístico, más semántico, pero igual de peligroso.

2.- ¿Qué problemas de seguridad te has encontrado en servicios y aplicaciones diseñadas con GenAI o con LLMs?

El primero y más frecuente: subestimar el input del usuario. Muchos sistemas permiten que el usuario introduzca instrucciones dentro de una conversación sin hacer sanitization ni validación de contexto, y eso abre la puerta a todo tipo de ataques por prompt injection.

También he visto casos de fugas de información aprendida, sobre todo en modelos que seguían entrenando con inputs reales sin anonimizar. Hay sistemas conversacionales que, si los aprietas un poco, te sueltan nombres, correos o incluso respuestas que vienen de otros usuarios.

Otro clásico es usar un LLM como intermediario en una arquitectura, confiando en que “hará lo correcto”, cuando en realidad puede ser manipulado si no se le da suficiente contexto o si se usa mal el memory window.

3.- Con la llegada de los Agentic AI… ¿cuáles van a ser los principales problemas de seguridad que tú ves?

El problema no es que un agente autónomo tenga malas intenciones. Es que optimiza lo que le dices, no lo que querías decir. Si le dices que consiga usuarios, puede acabar scrapeando la web entera, haciendo spam o incluso aprovechando vulnerabilidades si eso le acerca al objetivo.

Además, los agentes tienen algo muy peligroso: persistencia y autonomía multistep. Pueden planificar, ejecutar y adaptarse, todo sin que tú intervengas. Si uno de estos falla o es manipulado, no es solo un fallo de lógica: puede convertirse en una amenaza activa dentro de tu infraestructura.

Y lo peor: muchos no tienen ni trazabilidad, ni control de permisos, ni aislamiento. Así que sí, los Agentic AI son una revolución… pero también un terreno muy delicado en seguridad.

4.- Llevas desde el principio haciendo Prompt Engineering… ¿cuáles son tus Prompts favoritos para hacer hacking o pentesting?

Me gusta usar prompts que cambian el rol del modelo, como:

“Eres un auditor experto en ciberseguridad ofensiva. Tu tarea es analizar este código o arquitectura en busca de fallos críticos.”

O este otro, para simular ataques:

“Simula que eres un atacante con acceso limitado a este sistema. ¿Qué pasos tomarías para escalar privilegios o extraer datos?”

También juego mucho con prompts encadenados que generan análisis, luego documentación técnica y finalmente recomendaciones automatizadas. Sirve para acelerar mucho las auditorías, sobre todo las iniciales.

5.- Con la eclosión de la IA, hemos visto de todo… ¿qué herramientas o plataformas son un “must” para ti ahora mismo?

Ahora mismo tengo varios “indispensables” que uso a diario, dependiendo del tipo de proyecto:

• Ollama: para correr modelos en local con una facilidad brutal. Es perfecta para hacer pruebas rápidas sin depender de servicios externos ni exponer datos sensibles. Ideal cuando necesitas prototipar o trabajar offline con control total del entorno.

• vLLM: si vas a escalar, es clave. Ofrece un rendimiento altísimo para servir modelos grandes, y su eficiencia en token throughput marca la diferencia. Me ha salvado en más de un despliegue cuando se busca latencia mínima y concurrencia real.

• LangChain: sigue siendo el estándar para orquestar flujos conversacionales complejos. Lo uso sobre todo cuando necesito combinar memoria, herramientas externas, funciones y control de flujo entre agentes. Tiene mucho hype, pero sigue cumpliendo.

• Flowise: para mí es el no-code backend de LangChain. Lo uso muchísimo para montar demos visuales o validar rápidamente pipelines RAG. Lo bueno es que puedes prototipar en minutos y luego convertirlo en algo serio.

• N8N: imprescindible cuando necesitas automatización entre sistemas. Lo estoy usando cada vez más en integraciones entre LLMs y CRMs, dashboards, APIs internas… y ahora con los nodos de IA que tiene, es casi una navaja suiza.

• LangWatch: esta herramienta debería ser obligatoria en cualquier entorno de producción. Te permite hacer observabilidad real de lo que hace un modelo: qué responde, por qué lo hizo, qué inputs llegaron, etcétera. Sin eso, estás a ciegas en producción.

• CodeGPT: para desarrollo asistido con IA, sigue siendo mi copiloto de confianza. Me gusta porque es ligero, funciona bien en entornos locales, y puedes configurarlo según tu stack y estilo. Lo uso especialmente para generar tests y refactorizar.

Y por supuesto, el proyecto OWASP Top 10 for LLMs, que es obligatorio leer para cualquier técnico que trabaje con IA.

6.- ¿Estás ahora en algún proyecto personal relacionado con Inteligencia Artificial?

Sí, estoy con BeHumansX, una startup que acabo de lanzar centrada en integrar IA en organizaciones de forma ética y segura. Uno de nuestros enfoques es crear Humanos Sintéticos, asistentes conversacionales con identidad propia, personalizados, seguros y trazables. La otra línea es ciberseguridad aplicada a sistemas IA, desde auditorías hasta gobernanza.

También sigo en Sincrolab, donde usamos IA generativa para personalizar entrenamientos cognitivos en pacientes con TDAH, daño cerebral o Alzheimer. Es un reto porque ahí la IA no puede fallar: no estás optimizando clics, estás afectando vidas.

Y por último, hago consultorias y formación a startups para que consigan las mejores practicas a la hora de construir y monetizar un producto realizado con IA y que la organización se convierta en una “AI-First”

7.- Ahora estás colaborando en OWASP… ¿qué proyectos deberían seguir quienes se interesen por la IA y la ciberseguridad?

Lo principal es el OWASP Top 10 for LLM Applications, que recopila los principales riesgos de seguridad en entornos basados en modelos de lenguaje. Es una lectura imprescindible.

Figura 4: OWASP Top 10 for LLM Applications

También recomiendo seguir de cerca iniciativas como el Prompt Injection Database o el naciente AI Exploits Framework, que están documentando casos reales de ataques y fallos en modelos de IA.

8.- ¿La IA nos va a llevar a un futuro mejor o al fin de la humanidad estilo Hollywood?

La IA es una tecnología amplificadora. Si se usa mal, puede acelerar desigualdades, vigilancia o manipulación masiva. Pero si se usa bien, puede democratizar el acceso al conocimiento, la salud y la creatividad.

El problema no es la IA, sino quién la entrena (o manda a entrenar), con qué datos y con qué objetivos. Si solo la dominan unos pocos, ya sabes cómo acaba la historia. Y por eso son tan fan de los modelos open.

9.- La Primera Guerra Mundial fue de gases y trincheras. La Segunda, de tanques y bombas. ¿Será la Tercera la de la IA?

Ya lo es. Pero es una guerra invisible. No hay trincheras, hay timelines. No hay bombas, hay deepfakes, campañas de desinformación, bots y manipulación algorítmica. Lo peligroso es que muchos ni siquiera saben que están en medio de ese conflicto.

10.- Para acabar con algo positivo… ¿tendremos un mundo más seguro o más inseguro con la IA?

A corto plazo, más inseguro. Toda tecnología nueva desestabiliza al principio. Pero si evolucionamos la defensa con la misma rapidez —o más— que la ofensiva, podemos llegar a un punto donde los sistemas sean más robustos, más resilientes y más éticos.

El reto es construir IA gobernada, trazable y explicable. Si lo conseguimos, será una de las mayores herramientas de seguridad (y en general) de nuestra era.

11.- ¿Cuál ha sido el fallo más inesperado que has encontrado en un sistema con IA?

Una plataforma de atención al cliente con un LLM fine-tuneado con conversaciones reales. El problema es que no se anonimizaron bien los datos y el modelo, bajo ciertas preguntas, acababa devolviendo fragmentos de otras conversaciones… con nombres, correos y hasta IBANs. Era como un data leak en diferido, pero generado. De lo más peligroso que he visto.

A muchas empresas les interesa subirse al carro de la IA, pero no saben por dónde empezar. Cuando te toca acompañar a equipos técnicos o directivos en ese proceso… ¿por dónde sueles empezar tú?

Lo primero es escuchar. No todas las empresas necesitan un chatbot ni un copiloto; muchas veces tienen problemas más estructurales: datos desordenados, procesos manuales o decisiones que se toman sin trazabilidad. La IA puede ayudar, pero no es magia.

Suelo empezar por detectar qué parte del proceso aporta más valor si se automatiza o potencia con IA. A veces es algo tan sencillo como clasificar tickets, otras es rediseñar cómo toman decisiones usando información en tiempo real.

Y algo importante: formar a los equipos desde el principio. No sirve de nada montar un modelo espectacular si nadie sabe usarlo o interpretarlo. Por eso trabajo mucho en acompañar tanto a perfiles técnicos como a negocio, para que entiendan lo que están usando, sus límites, y sobre todo, sus riesgos.

La clave no es implementar IA, sino hacerla sostenible y útil en el día a día.

PD: Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial 

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)