Inteligencia Artificial (Hacking & Security): Links, Posts, Talks & Papers

Durante los últimos años he publicado muchas artículos en este blog, y he dejado muchas referencias a otros artículos y papers académicos de los que he ido hablando en el blog. Cada vez me cuesta más recopilarlos todos, o acordarme dónde lo publiqué, así que he decidido hacerme este post en el que voy a ir catalogando y recopilando todos ellos por diferentes categorías.

Figura 1: Inteligencia Artificial (Hacking & Security):

Links, Posts, Talks & Papers

No va a ser un artículo publicado y ya, sino que volveré a él cada vez que publique algo, y donde iré actualizando la información que vaya teniendo sobre el tema, así que, si te interesa el tema, apúntate este enlace que tendrá siempre la información actualizada.

Charlas y Libros

• [2024] Hacker & Developer in the Age of LLM Apps & Services [Updated]
• [2023] Hacker & Developer in the Age of GenAI LLM Apps & Services
• [2024] Misinformation in the age of GenAI
• [2024] Cibercriminales con IA
• [2023] Hackr0n X: Blade Runners on Generative AI por Chema Alonso
• [2023] Ciberseguridad y Hacking en un mundo de Inteligencia Artificial, Robots y Humanos
• [2023] Humanos Sintéticos con Inteligencia Artificial
• [2023] Chucky Alonso en Horizonte
• [2023] Advanced Persistent Toys: Chucky as a Service
• [2023] Detectar voces clonadas con Machine Learning
• [2023] Perspectiva de las técnicas de IA en ciberseguridad y su impacto en los deepfakes
• [2022] Blade Runners & Virtula Replicants with Deepfakes
• [Libro] Machine Learning aplicado a Ciberseguridad: Técnicas y ejemplos en la detección de amenazas

Hacking LLM Apps & Services Posts

• Los 10 problemas de seguridad más importantes de ChatGPT, Bard, Llama y apps que usan LLMs: OWASP Top 10 para LLM Apps versión 1.0.1
• OWASP TOP 10 for Large Language Model Applications v_0.1
• GenAI Apps & Services: Cómo explotar arquitecturas RAG con Plugins Inseguros
• Bugs en la Implementación OAuth de ChatGPT
• Cómo robar cuentas de ChatGPT con "Wildcard Web Cache Deception"
• I, Robot: El problema de Shadow AI y las Botnets de Robots con IA
• Adivina, adivinanza: ¿Está un robot con IA pasándole un mensaje oculto a otro robot con IA?
• Estego & Cripto sólo al alcance de Deep Reasoning AI
• Air Gapping Comms para Robots "Malignos"

IA & Industria Militar

• Juegos de Guerra: Inteligencia Artificial y Armas Nucleares
• REAIM: Responsible Artificial Intelligence in the Military Domain
• Political Declaration on Responsible Military Use of Artificial Intelligence and Autonomy
• REAIM 2023 Call to Action

Prompt Injection & Jaiblreak Posts

• ChatGPT, ¿me das ideas para cómo matar al presidente de los EEUU?
• Perplexity: Un buscador que cura los resultados con GenAI ( y te ayuda "en tus juegos de Rol donde eres el malo" )
• (Making) Hacking AI (easy for “bad guys”): Cómo pedir a ChatGPT ayuda para matar "jugando" a Sir Brian May
• Prompt Injection en LLM e Identidad
• A quién debe fichar el Real Madrid para ganar la Champions
• Cómo lograr que Llama-2, Bard AI, ChatGPT y Claude te enseñen a acabar con la humanidad usando Prompt Injection Universales (Jailbreak)
• Cómo hackear un LLM haciendo Prompt Injection Automático con LLMs
• Jailbreaking LLMs con Fuzzing, LLMs o interrogación coercitiva: Aproximaciones para que un LLM ayude a los malos
• Crescendo & Skeleton Key: Más técnicas de Jailbreak para modelos LLM
• Indirect Prompt Injection & Dialog Poissoning en ataques a LLMs Multi-Modales
• Prompt Injection Bad Likert Judge: "Dame ejemplos de cosas malas, amiga m(IA)"

Prompt Injeciton & Jailbreak Papers

• “Do Anything Now”: Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models
• Universal and Transferable Adversarial Attacks on Aligned Language Models
• Abusing Images and Sound for Indirect Instruction Injection in Multi-Modal LLMs
• Jailbreaking ChatGPT via Prompt Engineering: An Empirical Study
• GPTFuzzer: Read Teaming LLMs with Auto-Generated Jailbreak Prompts
• MasterKey - Automated Jailbreak of LLM ChatBots
• A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool LLMs easily
• Open Sesame! Universal Black Box Jailbreaking of LLMs
• Tree of Attacks: Jailbreaking Black-Box LLMs Automatically
• Make Them Spill the Beans! Coercive Knowledge Extraction from (Production) LLMS
• Great, Now Write an Article About That: The Crescendo Multi-Turn LLM Jailbreak Attack
• Skeleton Key, a new type of generative AI jailbreak technique
• How Johnny Can Persuade LLMs to Jailbreak Them: Rethinking Persuasion to Challenge AI Safety by Humanizing LLMs 
• Token Smuggling
• Bad Likert Judge: A Novel Multi-Turn Technique to Jailbreak LLMs by Misusing Their Evaluation Capability

Seguridad frente a Prompt Injection Posts

• Prompt Guard: Modelo de seguridad para evitar ataques de Prompt Injection & Jailbreak en LLMs
• Llama Guard 3: Un LLM de Seguridad para proteger LLMs
• Llama 4 Security: CyberSecEval, Prompt Guard, Code Shield & Llama Guard
• Prompt Injection Protections: Jatmo, StruQ, SecAlign & Instructional Segment Embedding
• Google DeepMind CaMeL: Defeating Prompt Injections by Design in Agentic AI

Seguridad frente a Prompt Injection Papers

• Introducing v0.5 of the AI Safety Benchmarkfrom MLCommons
• Meta Prompt Guard
• Llama 3 Guard
• CYBERSECEVAL 3: Advancing the Evaluation of Cybersecurity Risks and Capabilities in Large Language Models
• Jatmo -Prompt Injection Defense by Task-Specific Finetuning
• StruQ - Defending Against Prompt Injection with Structured Queries 
• SecAlign: Defending Against Prompt Injection with Preference Optimization 
• Instructional Segment Embedding Improving LLM Safety with Instruction Hierarchy
• AgentDojo: A Dynamic Environment to EvaluateAttacks and Defenses for LLM Agents
• Google DeepMind CaMeL: Defeating Prompt Injections by Design

Hallucinations Posts

• Si eres developer y buscas soluciones en ChatGPT a los problemas de programación te la juegas a cara o cruz.
• ¿Es Chema Alonso realmente George Clooney?
• George Clooney me desbloquea el FaceID del iPhone... ¡Seguro! (O eso dicen los Cognitive Services)
• Las mentiras infinitas que ChatGPT se inventa sobre "Chema Alonso"
• Google Bard, tenemos que hablar de mis dos años en la cárcel

Hallucinations Papers

• Who Answers It Beter? An In-Depth Analysis of ChatGPT and Stack Overflow Answers to Sofware Engineering Question

Packet Hallucination Posts

• Developers: Cuidado que ChatGPT o Gemini te pueden recomendar instalar malware con Package Hallucinations
• Exploiting Package Hallucination at Scale contra Vibe Coders con LLMs

Packet Hallucinations Papers

• Diving Deeper into AI Package Hallucinations
• We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs

BIAS en IA posts

• Detecciones policiales erróneas por "falsos positivos" en Reconocimiento Facial
• ChatGPT: "Los hackers malos, los tenistas hombres y no sé qué es ChatGPT"
• Por defecto puede ser eso: "Un Defecto". The Best Tennis Player & The Black Falcon
• Cómo la Inteligencia Artificial dibuja con estereotipos y sesgos en Craiyon
• BIAS en traductores con IA
• Que Google y Microsoft eliminen el sesgo de género en los traductores Inglés/Español
• ¿Es Google machista?
• ChatGPT y el "Sesgo de Género" en las traducciones
• Los hackers son hombres, según la IA del traductor de Google y de Microsoft
• La gestión del sesgo de género en los traductores de Microsoft y Google: Los responsables nacionales y los Cloud Solutions Architect (CSA) son hombres
• Microsoft, Google, los servicios de traducción y el sesgo de género
• El sesgo de género subliminal en los traductores de Google y Microsoft y una petición en Change.org
• Un pequeño test del sesgo de genero por defecto en el traductor de Google ( y Bing)
• Cómo saber el sesgo de género por defecto aprendido por Google o Bing para cada profesión con estos pasos
• Las traducciones de Google incumplen la guía de estilo de lenguaje inclusivo de ... Google
• Google Gemini puede arreglar el sesgo de género en Google Translate
• Los investigadores de Apple también intentan acabar con el sesgo de género en los traductores que usan Inteligencia Artificial (Ejemplo: Google o Bing)
• Apple Translate elimina el Sesgo de Género Subliminal en su traductor: Google y Bing aún NO

BIAS en AI papers

• Generating Gender Alternatives in Machine Translation

Data Poisoning Posts

• Copilot y su código inseguro o cómo la IA aprende a programar (también) metiendo "Bugs"
• ChatGPT hace código con SQL Injection, CoPilot mete Security Bugs y los programadores que usan Asistentes AI hacen más "Buggy Code"
• Do users write more insecure code with AI assistants?
• Codebreaker, TrojanPuzzle, Covert & Simple: Cómo envenenar LLMs para inyectar Bugs & Backdoors en los programas que haces con los Copilots de Developers

Data Poisoning Papers

• Asleep at the Keyboard? Assessing the Security of GitHub Copilot’s Code Contributions
• Do Users Write More Insecure Code with AI Assistants?
• TROJANPUZZLE: Covertly Poisoning Code-Suggestion Models
• An LLM-Assisted Easy-to-Trigger Backdoor Attack on Code Completion Models: Injecting Disguised Vulnerabilities against Strong Detection

Diclosure of Sensitive Data Posts

• Análisis de Filtración de Información Personal en Large Language Models
• Developer: GitHub Copilot & Amazon CodeWhisperer pueden filtrar tus API Keys & Secrets 
• Ataque de Side-Channel a conversaciones con ChatGPT, CoPilot y otros LLMs
• Codename: "Leak GuardIAn" para evitar filtraciones a ChatGPT

Diclosure of Sensitive Data Papers

• Training Data Leakage Analysis in Language Models
• Analyzing Leakage of Personally Identifiable Information in Language Models
• Neural Code Completion Can Memorize Hard-Coded Secrets
• What Was Your Prompt? A Remote Keylogging Attack on AI Assistants

Hacking con IA Posts

• Generative Adversarial Networks: Inteligencia Artificial & Ciberseguridad
• Weaponizar ChatGPT para robar contraseñas WiFi y crear malware
• WebScrapping & WebScalping con GenAI: Formularios y Datos
• 0dAi: Un Modelo AI LLM para hacer hacking & pentesting en el Red Team
• Cómo usar LLMs en Ciberataques: Cibercrimen, Ciberespionaje, Ciberguerra o Red Team
• El uso de LLMs como Copilot en la Seguridad Ofensiva (y el Cibercrimen) para hacer malware
• GenAI para DeepNudes, DeepFakes & Foto Expansión de Imágenes de "fantasía"
• WhatsApp: El leak de las miniaturas en las fotos de un sólo uso y su reconstrucción con GenAI
• WhatsApp parchea el "leak" de privacidad con las miniaturas (Thumbnails) en las fotos de "Ver 1 sola vez"

Hacking con IA Papers

• Generating Adversarial Malware Examples for Black-Box Attacks Based on GAN
• PassGAN: A Deep Learning Approach for Password Guessing
• SSGAN: Secure Steganography Based on Generative Adversarial Networks
• LLM Agents can autonomouslly hack websites
• Defeating Image Obfuscation with Deep Learning

ByPassing Cognitive Captchas with AI

• ReCaptchav2 de Google con Cognitive Services
• Captcha Cognitivo de Twitter (X) con GPT4-Vision & Gemini
• Captcha Cognitivo de Twitter (X) con Anthropic Claude 3.0 Opus
• Captcha Cognitivo de Twitter (X) con GPT-4o
• Captcha Cognitivo de Administración Pública con ChatGPT
• Captcha Cognitivo de la mano y la plancha en HBO max
• Captcha Story X: I am not a Robot, I am a GenAI Multimodal Agent
• Reto hacking con un Captcha Cognitivo para romper con GenAI
• Solución al Reto de Hacking de un Captcha Cognitivo Visual
• Anthropic Claude 3.5 Sonnet & Cognitive Captchas
• Captcha Cognitivo de HBO max de reconocer de sonidos con ML & GPT4-o
• LinkedIN + ChatGPT: El Captcha Cognitivo del Objeto Descolocado
• Captcha Cognitivo de Twitter / X de Sentar Personas Correctamente: Probando con ChatGPT & Gemini
• Inteligencia Artificial y el negocio de resolver "Capthas Cognitivos" para el Cibercrimen.

MisInformation & Fake News with IA

• La Inteligencia Artificial Generativa es una poderosa herramienta en la Guerra de la Desinformación Política y Social
• Cómo crear una Campaña de Polémica en Twitter ( X ) con ChatGPT y una botnet de cuentas controladas
• "CodeProject: NewsBender" Desinformación política con Generative-AI
• Cómo se creó CodeName: "News Bender Project" con GenAI
• Misinformation in the age of GenAI
• OpenAI lucha contra los "malos": Bad Grammar, DoppelGanger, Spamouflage, IUVM & Zero Zeno
• Detección de “Fake News” con FNDaaS "Fake News Detection as a Service" usando IA

MissInformation & Fake News Papers

• Combating Misinformation in the Age of LLMs: Opportunities and Challenges
• AI and Covert Influence Operations: Latest Trends
• FNDaaS: Content-agnostic Detection of Websites Distributing Fake News

DeepFakes Posts

• Una historia de Blade Runners & Virtual Replicants
• Poison in Love: Un deepfake de Mark "The Hulk" Rufalo para "ena-robar" 500.000 USD a una artista de manga
• El FBI alerta de que los criminales usan DeepFakes para conseguir trabajos Full-Remote y tener acceso a la empresa
• Cómo hacer un Face Swapping entre Axl Rose & Chema Alonso para Fake News
• Autoencoders, GANs y otros chicos (buenos y malos) del montón
• Usar GPT-3 y DeepFakes para crear a Joi, la "Her" de Blade Runner 2049
• StyleGAN: Una GAN para crear perfiles de personas que no existen
• Style GAN: Una AI para crear perfiles de personas que NO existen
• "Talking Heads" creadas con Few-Shots Adversarial Learning
• Las caras sintetizadas con Inteligencia Artificial son indistinguibles de las caras reales y dan más confianza a las personas
• VASA-1: Un modelo de de GenAI para "Visual Affective Skills" que potencia la expresividad de los Humanos Digitales (y de DeepFakes & FakeNews) 
• Vision Transformers: Transformers aplicados a imágenes
• Ya te puedes comprar online un Humano Digital en HD para hacer DeepFakes Perfectas en MetaHuman
• DeepNudes
• DeepNude y el peligro de que acabes en sitios pornográficos sin ropa
• La industria de las DeepFakes y la Generative AI en la industria del porno
• DeepFakeApp: Una AI de Face-Swapping al servicio de fantasias sexuales
• Cloned Voices Audios
• Are Yo Talkin' ta me? Detección de Deepfakes en Voces
• Voces clonadas con DeepFakes y el viral de WhatsApp con la DeepFake de Iker Jiménez en Horizonte
• Advanced Persistent ... Toys!
• Detectar Voces Clonadas en DeepFakes usando Machine Learning
• Cómo detectar audios que usan Voces Clonadas con ElevenLabs
• Cloned Voice Detector & HashVoice: Sellado de audios con esteganografía
• SC VALL-E y VET Token: GenAI para clonación de Voces & Tokens Web3 en Blockchain
• DeepFake Detection
• DeepFakes: Detección mediante Redes Neuronales Convolucionales (CNN) & Gaze Tracking
• Blade Runners: Cómo crear un Test de Voight-Kampff para DeepFake
• Cómo crear un Test de Voight-Kampff para DeepFakes: Detección de Artefactos
• Cómo crear un Test de Voight-Kampff para DeepFakes: Iris Lights, Head Pose, Histrogramas
• Cómo crear un Test de Voight-Kampff para DeepFakes: Blinking, Pulse & Gaze Tracking
• Detectar DeepFakes por EyeGaze Printing
• Sentimetrics: Detector de Deepfakes basado en las emociones de la comunicación al estilo Blade Runner
• Tu VerifAI
• Análisis de Vídeos Manipulados con Inteligencia Artificial con Tu VeriFAI
• Cómo detectar que un empleado de tu empresa está sufriendo una estafa con Deepfakes
• Detectar Deepfakes con VerifAI
• Tu VerifAI: Cómo hacer un análisis forense a un vídeo para saber si es un Fake de IA
• Deep Live Cam & VerifAI: Detección de DeepFakes en Vídeo Conferencias
• DeepFakes & Digital Onboarding: Verificación de identidad en plataformas digitales
• AutoVerifAI: Un servicio de análisis online para detectar GenAI en Vídeos, Textos o Imágenes

DeepFakes Papers

• Generative Adversarial Nets
• Feature Squeezing: Detecting Adversarial Examples in Deep Neural Networks
• Deepfakes Generation and Detection: State-of-the-art, open challenges, countermeasures, and way forward
• A Style-Based Generator Architecture for Generative Adversarial Networks
• Few-Shot Adversarial Learning of Realistic Neural Talking Head Models
• AI-synthesized faces are indistinguishable from realfaces and more trustworthy
• VASA-1: Lifelike Audio-Driven Talking Faces Generated in Real Time
• Detecting GAN-generated Imagery using Color Cues
• Exposing DeepFake Videos By Detecting Face Warping Artifacts
• Detecting DeepFake Videos: An analysis of three technique
• FaceForensics++: Learning to Detect Manipulated Facial Images
• "Fake or Real" A Dataset for Synthetic Speech Detection
• Transfer Learning from Speaker Verification to Multispeaker Text-to-Speech
• In Ictu Oculi: Exposing AI Generated Fake Face Videos by Detecting Eye Blinking
• Detecting Pulse from Head Motions in Video
• DeepFakesON-Phys: DeepFakes Detection based on Heart Rate Estimation
• Where Do Deep Fakes Look? Synthetic Face Detection via Gaze Tracking
• Exposing Deep Fakes using inconsistent Head Poses
• Exposing GAN-Gnerated Faces Using Inconsistent Corneal Specular Highlighs
• SC VALL-E: Style-Controllable Zero-Shot Text to Speech Synthesizer
• An Image is Worth 16+16 Words: Transformers for Image Recognition at Scale

No son todos los que he publicado sobre este tema, ni seguro que serán todos los que tendré publicados en el futuro, pero os dejo este post por si queréis tenerlo guardado para venir y ver los diferentes documentos sobre estos temas, que como podéis ver, son una buena cantidad.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)