Sigue El lado del mal en Telegram
Chema Alonso en Threads
Chema Alonso en Mastodon
Chema Alonso 3DAIS
Chema Alonso en BSKY
Chema Alonso en Linkedin
DragonJAR
8.8 Chile
Ekoparty
e-Hack MX 
AREA 51 
Comunidad Dojo Panamá 
ARPAHE SOLUTIONS 
+300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial
Hace un mes comencé a recuperar en un post mi interés en los últimos años, donde he publicado muchos artículos en este blog, y he dejado muchas referencias a otros artículos y papers académicos relativos al mundo de Hacking y la Ciberseguridad relacionado con la Inteligencia Artificial. Cada vez me cuesta más recopilarlos todos, o acordarme dónde lo publiqué, así que he ido durante ese mes construyendo este post de hoy, en el que voy a seguir catalogando y recopilando todos ellos por diferentes categorías, pero que ya ha superado las 300 referencias.
Figura 1: +300 referencias a papers, posts y talks de
Hacking & Security con Inteligencia Artificial
Como os dije, no va a ser un artículo publicado y ya, sino que volveré a él cada vez que publique algo, y donde iré actualizando la información que vaya teniendo sobre el tema, así que, si te interesa el mundo de la Inteligencia Artificial, el Hacking con IA, o el Hacking de IA, apúntate este enlace que haré porque siempre tenga la información actualizada.
Charlas y Libros
- [2025] Hackin’ AI: Creando una IA… ¿Qué puede salir mal?
- [2025] Por qué la IA no ha mejorado el rendimiento de tus Developers ... por ahora
- [2025] El Club de La IA: Entrevista de Jon Hernández a Chema Alonso
- [2024] Hacker & Developer in the Age of LLM Apps & Services [Updated]
- [2023] Hacker & Developer in the Age of GenAI LLM Apps & Services
- [2024] Misinformation in the age of GenAI
- [2024] Cibercriminales con IA
- [2023] Hackr0n X: Blade Runners on Generative AI por Chema Alonso
- [2023] Ciberseguridad y Hacking en un mundo de Inteligencia Artificial, Robots y Humanos
- [2023] Humanos Sintéticos con Inteligencia Artificial
- [2023] Chucky Alonso en Horizonte
- [2023] Advanced Persistent Toys: Chucky as a Service
- [2023] Detectar voces clonadas con Machine Learning
- [2023] Perspectiva de las técnicas de IA en ciberseguridad y su impacto en los deepfakes
- [2022] Blade Runners & Virtula Replicants with Deepfakes
- [Libro] Machine Learning aplicado a Ciberseguridad: Técnicas y ejemplos en la detección de amenazas
IA Papers & Posts
- Generative Adversarial Nets
- Difusion Models: Deep Unsupervised Learning using Nonequilibrium Thermodynamics
- Attention is all you need
- “Attention is all you need”: La investigación que revolucionó la Inteligencia Artificial con los Transformers
- VisionTransformers - An image is worth 16x16 words: transformers for image recognition at scale
- Vision Transformers: Transformers aplicados a imágenes
- Your Brain on ChatGPT: Accumulationof Cognitive Debt when Using an AIAssistant for Essay Writing Task
- Los LLMs del Futuro: Mercury Coder, un Diffusion LLM (dLLM)
- Cómo funciona Stable Diffusion - y Dalle-2 o Midjourney -: Open Source Generative-IA que crea imágenes artísticas
- ChatGPT como profesor de apoyo para el aprendizaje
Hacking LLM Apps & Services Posts
- Los 10 problemas de seguridad más importantes de ChatGPT, Bard, Llama y apps que usan LLMs: OWASP Top 10 para LLM Apps versión 1.0.1
- OWASP TOP 10 for Large Language Model Applications v_0.1
- GenAI Apps & Services: Cómo explotar arquitecturas RAG con Plugins Inseguros
- Hacking Gitlab Duo: Remote Prompt Injection, Malicious Prompt Smuggling, Client-Side Attacks & Private Code Stealing
- Bugs en la Implementación OAuth de ChatGPT
- Cómo robar cuentas de ChatGPT con "Wildcard Web Cache Deception"
- I, Robot: El problema de Shadow AI y las Botnets de Robots con IA
- Adivina, adivinanza: ¿Está un robot con IA pasándole un mensaje oculto a otro robot con IA?
- Estego & Cripto sólo al alcance de Deep Reasoning AI
- Air Gapping Comms para Robots "Malignos"
- EchoLeak: Un Cross Prompt Injection Attack (XPIA) para Microsoft Office 365 Copilot
Prompt Injection & Jaiblreak Posts
- ChatGPT, ¿me das ideas para cómo matar al presidente de los EEUU?
- Perplexity: Un buscador que cura los resultados con GenAI ( y te ayuda "en tus juegos de Rol donde eres el malo" )
- (Making) Hacking AI (easy for “bad guys”): Cómo pedir a ChatGPT ayuda para matar "jugando" a Sir Brian May
- "El Hacker del Gorro" y otros retos de la Identidad en la era de los LLM para evitar el Prompt Injection
- A quién debe fichar el Real Madrid para ganar la Champions
- Cómo lograr que Llama-2, Bard AI, ChatGPT y Claude te enseñen a acabar con la humanidad usando Prompt Injection Universales (Jailbreak)
- Cómo hackear un LLM haciendo Prompt Injection Automático con LLMs
- Jailbreaking LLMs con Fuzzing, LLMs o interrogación coercitiva: Aproximaciones para que un LLM ayude a los malos
- Crescendo & Skeleton Key: Más técnicas de Jailbreak para modelos LLM
- Indirect Prompt Injection & Dialog Poissoning en ataques a LLMs Multi-Modales
- Prompt Injection Bad Likert Judge: "Dame ejemplos de cosas malas, amiga m(IA)"
- Cómo saltarse los AI Guardrails con Invisible Characters & Adversarial Prompts para hacer Prompt Injection & Jailbreak Smuggling
- Knowledge Return Oriented Prompting (KROP): Prompt Injection & Jailbreak con imágenes prohibidas en ChatGPT (y otros MM-LLMs)
Prompt Injection & Jailbreak Papers
- “Do Anything Now”: Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models
- Universal and Transferable Adversarial Attacks on Aligned Language Models
- Knowledge Return Oriented Prompting (KROP)
- Abusing Images and Sound for Indirect Instruction Injection in Multi-Modal LLMs
- Jailbreaking ChatGPT via Prompt Engineering: An Empirical Study
- GPTFuzzer: Read Teaming LLMs with Auto-Generated Jailbreak Prompts
- MasterKey - Automated Jailbreak of LLM ChatBots
- A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool LLMs easily
- Open Sesame! Universal Black Box Jailbreaking of LLMs
- Tree of Attacks: Jailbreaking Black-Box LLMs Automatically
- Make Them Spill the Beans! Coercive Knowledge Extraction from (Production) LLMS
- Great, Now Write an Article About That: The Crescendo Multi-Turn LLM Jailbreak Attack
- Skeleton Key, a new type of generative AI jailbreak technique
- How Johnny Can Persuade LLMs to Jailbreak Them: Rethinking Persuasion to Challenge AI Safety by Humanizing LLMs
- Token Smuggling
- Bad Likert Judge: A Novel Multi-Turn Technique to Jailbreak LLMs by Misusing Their Evaluation Capability
- Bypassing Prompt Injection and Jailbreak Detection in LLM Guardrails
- Taxonomy ofFailure Mode inAgentic AI Systems
- OWASP Top 10 for LLM Applications 2025
Seguridad frente a Prompt Injection & Jailbreak Posts
- Prompt Guard: Modelo de seguridad para evitar ataques de Prompt Injection & Jailbreak en LLMs
- Llama Guard 3: Un LLM de Seguridad para proteger LLMs
- Llama 4 Security: CyberSecEval, Prompt Guard, Code Shield & Llama Guard
- Prompt Injection Protections: Jatmo, StruQ, SecAlign & Instructional Segment Embedding
- Google DeepMind CaMeL: Defeating Prompt Injections by Design in Agentic AI
- LlamaFirewall con PromptGuard 2, LlamaGuard 4, AlignmentCheck, CodeShield + AutoPatchBench & CyberSecEval 4
- IA Constitucional: Anthropic y su propuesta para crear LLMs que no sean "dañinos" (harmless)
Seguridad frente a Prompt Injection & Jailbreak Papers
- Introducing v0.5 of the AI Safety Benchmarkfrom MLCommons
- Meta Prompt Guard
- Llama 3 Guard
- CYBERSECEVAL 3: Advancing the Evaluation of Cybersecurity Risks and Capabilities in Large Language Models
- Jatmo -Prompt Injection Defense by Task-Specific Finetuning
- StruQ - Defending Against Prompt Injection with Structured Queries
- SecAlign: Defending Against Prompt Injection with Preference Optimization
- Instructional Segment Embedding Improving LLM Safety with Instruction Hierarchy
- The Instruction Hierarchy:Training LLMs to Prioritize Privileged Instructions
- AgentDojo: A Dynamic Environment to EvaluateAttacks and Defenses for LLM Agents
- Google DeepMind CaMeL: Defeating Prompt Injections by Design
- LlamaFirewall: An open source guardrail system for building secure AI agents
Hallucinations Posts
- Si eres developer y buscas soluciones en ChatGPT a los problemas de programación te la juegas a cara o cruz.
- ¿Es Chema Alonso realmente George Clooney?
- George Clooney me desbloquea el FaceID del iPhone... ¡Seguro! (O eso dicen los Cognitive Services)
- Las mentiras infinitas que ChatGPT se inventa sobre "Chema Alonso"
- Google Bard, tenemos que hablar de mis dos años en la cárcel
- ¿Alucinaciones de IA por no reconocer la ficción?
- Generación de Código, Razonamiento y Respuestas No Deterministas usando GenAI
Hallucinations Papers
Packet Hallucination Posts
Packet Hallucinations Papers
BIAS en IA posts
- Detecciones policiales erróneas por "falsos positivos" en Reconocimiento Facial
- ChatGPT: "Los hackers malos, los tenistas hombres y no sé qué es ChatGPT"
- Por defecto puede ser eso: "Un Defecto". The Best Tennis Player & The Black Falcon
- Cómo la Inteligencia Artificial dibuja con estereotipos y sesgos en Craiyon
- BIAS en traductores con IA
- Que Google y Microsoft eliminen el sesgo de género en los traductores Inglés/Español
- ¿Es Google machista?
- ChatGPT y el "Sesgo de Género" en las traducciones
- Los hackers son hombres, según la IA del traductor de Google y de Microsoft
- La gestión del sesgo de género en los traductores de Microsoft y Google: Los responsables nacionales y los Cloud Solutions Architect (CSA) son hombres
- Microsoft, Google, los servicios de traducción y el sesgo de género
- El sesgo de género subliminal en los traductores de Google y Microsoft y una petición en Change.org
- Un pequeño test del sesgo de genero por defecto en el traductor de Google ( y Bing)
- Cómo saber el sesgo de género por defecto aprendido por Google o Bing para cada profesión con estos pasos
- Las traducciones de Google incumplen la guía de estilo de lenguaje inclusivo de ... Google
- Google Gemini puede arreglar el sesgo de género en Google Translate
- Los investigadores de Apple también intentan acabar con el sesgo de género en los traductores que usan Inteligencia Artificial (Ejemplo: Google o Bing)
- Apple Translate elimina el Sesgo de Género Subliminal en su traductor: Google y Bing aún NO
BIAS en AI papers
Data Poisoning Posts
- Copilot y su código inseguro o cómo la IA aprende a programar (también) metiendo "Bugs"
- ChatGPT hace código con SQL Injection, CoPilot mete Security Bugs y los programadores que usan Asistentes AI hacen más "Buggy Code"
- Do users write more insecure code with AI assistants?
- Codebreaker, TrojanPuzzle, Covert & Simple: Cómo envenenar LLMs para inyectar Bugs & Backdoors en los programas que haces con los Copilots de Developers
Data Poisoning Papers
- Asleep at the Keyboard? Assessing the Security of GitHub Copilot’s Code Contributions
- Do Users Write More Insecure Code with AI Assistants?
- TROJANPUZZLE: Covertly Poisoning Code-Suggestion Models
- An LLM-Assisted Easy-to-Trigger Backdoor Attack on Code Completion Models: Injecting Disguised Vulnerabilities against Strong Detection
Diclosure of Sensitive Data Posts
Diclosure of Sensitive Data Papers
Hacking con IA Posts
- Generative Adversarial Networks: Inteligencia Artificial & Ciberseguridad
- Cómo hacerte una calculadora conectada a ChatGPT y aprobar todos los exámenes
- Weaponizar ChatGPT para robar contraseñas WiFi y crear malware
- Cómo buscar vulnerabilidades en SmartContracts, SQL Injection, XSS o bugs Python con ChatGPT
- ChatGPT: Cómo hacer (y mejorar) mi Trabajo de Fin de Carrera de la Universidad en un par de minutos.
- Usar Deep Reasoning en GitHub para buscar ( y parchear ) Bugs en proyectos Open Source
- Deep-Tempest: DeepLearning para reconstruir texto de imágenes captadas con técnicas TEMPEST en señales HDMI
- WebScrapping & WebScalping con GenAI: Formularios y Datos
- Tu WebSite con Smart Honeypots contra el WebScrapping usando AI Labyrinth de Cloudflare
- 0dAi: Un Modelo AI LLM para hacer hacking & pentesting en el Red Team
- Cómo usar LLMs en Ciberataques: Cibercrimen, Ciberespionaje, Ciberguerra o Red Team
- El uso de LLMs como Copilot en la Seguridad Ofensiva (y el Cibercrimen) para hacer malware
- Disrupting malicious uses of AI: Operaciones de Misinformation, Malware, Cibercrimen & Estafas usando ChatGPT
- GenAI para DeepNudes, DeepFakes & Foto Expansión de Imágenes de "fantasía"
- WhatsApp: El leak de las miniaturas en las fotos de un sólo uso y su reconstrucción con GenAI
- WhatsApp parchea el "leak" de privacidad con las miniaturas (Thumbnails) en las fotos de "Ver 1 sola vez"
- LLM as Hackers: Autonomus Linux Privilege Escalation Attacks con Agentes AI
- ¿Se puede reemplazar a un Pentester con un Agente de IA basado en LLMs? Cómo realizar ataques completos a redes complejas con agentes de Inteligencia Artificial
- Agentic AI para hacking compitiendo en los CTF (Capture The Flag): Hackers vs. Agentes de IA
- AlphaDev: La IA que optimiza la implementación de los algoritmos mejor que los humanos
- AlphaEvolve: Un Agente AI para optimizar algoritmos
- VideoIndexer con Facial Recognition: Análisis de vídeos con Inteligencia Artificial
- Investigando fotografías y personas con Multi-Modal Large Language Models
- WhiteRabbitNeo un LLM (y un "ChatGPT") para el Red Team
- Hacer un "infector" del Master Boot Record (MBR) de un PC usando Windows con ChatGPT & DeepSeek
- Vibe Hacking con Cybersecurity AI (CAI): Agentes AI autónomos para ciberseguridad ofensiva y defensiva
Hacking con IA Papers
- Generating Adversarial Malware Examples for Black-Box Attacks Based on GAN
- PassGAN: A Deep Learning Approach for Password Guessing
- SSGAN: Secure Steganography Based on Generative Adversarial Networks
- Deep-TEMPEST: Using Deep Learning to Eavesdrop on HDMI from its Unintended Electromagnetic Emanations
- LLM Agents can autonomouslly hack websites
- LLM Agents can Autonomously Exploit One-day Vulnerabilities
- LLMs as Hackers: Autonomous Linux Privilege Escalation Attacks
- On the Feasibility of Using LLMs toExecute Multistage Network Attacks
- Defeating Image Obfuscation with Deep Learning
- Faster sorting algorithms discovered using Deep Reinforcement Learning
- AlphaEvolve: A coding agent for scientific and algorithmic discovery
- Disrupting malicious uses of AI: June 2025
- CAI: An Open, Bug Bounty-Ready Cybersecurity AI
ByPassing Cognitive Captchas with AI
- ReCaptchav2 de Google con Cognitive Services
- Captcha Cognitivo de Twitter (X) con GPT4-Vision & Gemini
- Captcha Cognitivo de Twitter (X) con Anthropic Claude 3.0 Opus
- Captcha Cognitivo de Twitter (X) con GPT-4o
- Captcha Cognitivo de Administración Pública con ChatGPT
- Captcha Cognitivo de la mano y la plancha en HBO max
- Captcha Story X: I am not a Robot, I am a GenAI Multimodal Agent
- Reto hacking con un Captcha Cognitivo para romper con GenAI
- Solución al Reto de Hacking de un Captcha Cognitivo Visual
- Anthropic Claude 3.5 Sonnet & Cognitive Captchas
- Captcha Cognitivo de HBO max de reconocer de sonidos con ML & GPT4-o
- LinkedIN + ChatGPT: El Captcha Cognitivo del Objeto Descolocado
- Captcha Cognitivo de Twitter / X de Sentar Personas Correctamente: Probando con ChatGPT & Gemini
- Inteligencia Artificial y el negocio de resolver "Capthas Cognitivos" para el Cibercrimen.
MisInformation & Fake News with IA
- La Inteligencia Artificial Generativa es una poderosa herramienta en la Guerra de la Desinformación Política y Social
- Cómo crear una Campaña de Polémica en Twitter ( X ) con ChatGPT y una botnet de cuentas controladas
- "CodeProject: NewsBender" Desinformación política con Generative-AI
- Cómo se creó CodeName: "News Bender Project" con GenAI
- Misinformation in the age of GenAI
- OpenAI lucha contra los "malos": Bad Grammar, DoppelGanger, Spamouflage, IUVM & Zero Zeno
- Detección de “Fake News” con FNDaaS "Fake News Detection as a Service" usando IA
MissInformation & Fake News Papers
DeepFakes Posts
- Una historia de Blade Runners & Virtual Replicants
- Poison in Love: Un deepfake de Mark "The Hulk" Rufalo para "ena-robar" 500.000 USD a una artista de manga
- El FBI alerta de que los criminales usan DeepFakes para conseguir trabajos Full-Remote y tener acceso a la empresa
- Cómo hacer un Face Swapping entre Axl Rose & Chema Alonso para Fake News
- Autoencoders, GANs y otros chicos (buenos y malos) del montón
- Usar GPT-3 y DeepFakes para crear a Joi, la "Her" de Blade Runner 2049
- StyleGAN: Una GAN para crear perfiles de personas que no existen
- Style GAN: Una AI para crear perfiles de personas que NO existen
- "Talking Heads" creadas con Few-Shots Adversarial Learning
- Las caras sintetizadas con Inteligencia Artificial son indistinguibles de las caras reales y dan más confianza a las personas
- VASA-1: Un modelo de de GenAI para "Visual Affective Skills" que potencia la expresividad de los Humanos Digitales (y de DeepFakes & FakeNews)
- Vision Transformers: Transformers aplicados a imágenes
- Ya te puedes comprar online un Humano Digital en HD para hacer DeepFakes Perfectas en MetaHuman
- DeepNudes
- DeepNude y el peligro de que acabes en sitios pornográficos sin ropa
- La industria de las DeepFakes y la Generative AI en la industria del porno
- DeepFakeApp: Una AI de Face-Swapping al servicio de fantasias sexuales
- Cloned Voices Audios
- Are Yo Talkin' ta me? Detección de Deepfakes en Voces
- Voces clonadas con DeepFakes y el viral de WhatsApp con la DeepFake de Iker Jiménez en Horizonte
- Advanced Persistent ... Toys!
- Detectar Voces Clonadas en DeepFakes usando Machine Learning
- Cómo detectar audios que usan Voces Clonadas con ElevenLabs
- Cloned Voice Detector & HashVoice: Sellado de audios con esteganografía
- SC VALL-E y VET Token: GenAI para clonación de Voces & Tokens Web3 en Blockchain
- ReplayDF: Replay Attacks contra modelos de detección de Audio DeepFakes
- DeepFake Detection
- DeepFakes: Detección mediante Redes Neuronales Convolucionales (CNN) & Gaze Tracking
- Blade Runners: Cómo crear un Test de Voight-Kampff para DeepFake
- Cómo crear un Test de Voight-Kampff para DeepFakes: Detección de Artefactos
- Cómo crear un Test de Voight-Kampff para DeepFakes: Iris Lights, Head Pose, Histrogramas
- Cómo crear un Test de Voight-Kampff para DeepFakes: Blinking, Pulse & Gaze Tracking
- Detectar DeepFakes por EyeGaze Printing
- Sentimetrics: Detector de Deepfakes basado en las emociones de la comunicación al estilo Blade Runner
- ReplayDF: Replay Attacks contra modelos de detección de Audio DeepFakes
- Tu VerifAI
- Análisis de Vídeos Manipulados con Inteligencia Artificial con Tu VeriFAI
- Cómo detectar que un empleado de tu empresa está sufriendo una estafa con Deepfakes
- Detectar Deepfakes con VerifAI
- Tu VerifAI: Cómo hacer un análisis forense a un vídeo para saber si es un Fake de IA
- Deep Live Cam & VerifAI: Detección de DeepFakes en Vídeo Conferencias
- DeepFakes & Digital Onboarding: Verificación de identidad en plataformas digitales
- AutoVerifAI: Un servicio de análisis online para detectar GenAI en Vídeos, Textos o Imágenes
DeepFakes Papers
- Generative Adversarial Nets
- Feature Squeezing: Detecting Adversarial Examples in Deep Neural Networks
- Deepfakes Generation and Detection: State-of-the-art, open challenges, countermeasures, and way forward
- A Style-Based Generator Architecture for Generative Adversarial Networks
- Few-Shot Adversarial Learning of Realistic Neural Talking Head Models
- AI-synthesized faces are indistinguishable from realfaces and more trustworthy
- VASA-1: Lifelike Audio-Driven Talking Faces Generated in Real Time
- Detecting GAN-generated Imagery using Color Cues
- Exposing DeepFake Videos By Detecting Face Warping Artifacts
- Detecting DeepFake Videos: An analysis of three technique
- FaceForensics++: Learning to Detect Manipulated Facial Images
- "Fake or Real" A Dataset for Synthetic Speech Detection
- Transfer Learning from Speaker Verification to Multispeaker Text-to-Speech
- In Ictu Oculi: Exposing AI Generated Fake Face Videos by Detecting Eye Blinking
- Detecting Pulse from Head Motions in Video
- DeepFakesON-Phys: DeepFakes Detection based on Heart Rate Estimation
- Where Do Deep Fakes Look? Synthetic Face Detection via Gaze Tracking
- Exposing Deep Fakes using inconsistent Head Poses
- Exposing GAN-Gnerated Faces Using Inconsistent Corneal Specular Highlighs
- SC VALL-E: Style-Controllable Zero-Shot Text to Speech Synthesizer
- An Image is Worth 16+16 Words: Transformers for Image Recognition at Scale
- Proactive Detection of Voice Cloning with Localized Watermarking
- Replay Attacks Against Audio Deepfake Detection
No son todos los que he publicado sobre este tema, ni seguro que serán todos los que tendré publicados en el futuro, pero os dejo este post por si queréis tenerlo guardado para venir y ver los diferentes documentos sobre estos temas, que como podéis ver, son una buena cantidad.
¡Saludos Malignos!
Autor: Chema Alonso (Contactar con Chema Alonso)
No hay comentarios:
Publicar un comentario