Sobre la Fiabilidad del Reconocimiento Facial en Imágenes de Cámaras de Seguridad

No es la primera vez que el debate del Reconocimiento Facial ocupa parte de este espacio. En el año 2023, en el artículo titulado "Detecciones policiales erróneas por "falsos positivos" en Reconocimiento Facial" se contaba la historia de cómo una mujer fue detenida y llevada a juicio por un reconocimiento facial a partir de imágenes de una cámara de seguridad, donde se olvidaron el detalle de que en ese momento, la mujer detenida estaba embarazada de 8 meses. Algo que no detectó el algoritmo de reconocimiento facial pero que era muy fácil de comprobar en su momento.

Figura 1: Sobre la Fiabilidad del Reconocimiento Facial

en Imágenes de Cámaras de Seguridad

Estos sesgos, fallos y alucinaciones en forma de Falsos Positivos (FP) y Falsos Negativos (FN), los hemos visto muchas veces en los algoritmos de reconocimiento facial. Usando clasificadores basados en técnicas de Machine Learning, vimos cómo un algoritmo podría fallar si las condiciones de calidad de la imagen no eran idóneas, como os publiqué en el artículo de "Cómo un algoritmo de Machine Learning puede tener prejuicios o sesgos y afectar a la vida de las personas. Un ejemplo con un algoritmo al que le gusta la piel clara" escrito por Alberto Rivera y Marcos Rivera.

Figura 2: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

En los modernos Cognitive Services de Reconocimiento Facial, yo he puesto muchas veces el ejemplo de "hallucination" cuando me confundían en fotos a mí con el actor George Clooney, algo que creo que salta a la vista que no debería pasar de ninguna manera, y que sin embargo ha sucedido en más de una ocasión. Si sabemos que hay Sesgos, Falsos Positivos, Falsos Negativos o Hallucinations... ¿Podemos fiarnos de la Tecnología de Reconocimiento Facial (Facial Recognition Technology - FRT) ? Cuando la utilizamos con imágenes de cámaras de seguridad de baja calidad o en condiciones que no son las ideales... ¿son realmente fiables estas tecnologías? 

Figura 3: Accuracy and Fairness of Facial Recognition Technology

in Low-Quality Police Images: An Experiment With Synthetic Faces

De esto va el paper que se ha publicado en Junio de este año, titulado "Accuracy and Fairness of Facial Recognition Technology in Low-Quality Police Images: An Experiment With Synthetic Faces" donde se ha hecho un experimento con 50.000 imágenes sintéticas para localizar los Ratios de Falsos Positivos y Falsos Negativos de algunas de las tecnologías de FRT utilizadas en investigaciones policiales.

Figura 4: Imágenes utilizadas en investigaciones policiales

Si miramos las imágenes con las que cuentan las FRTs para reconocer a las individuos, no son siempre ni a la mejor resolución, ni con la mejor calidad, ni con el mejor ángulo de enfoque, con lo que tienen una dura misión para detectar un Match de Reconocimiento facial que no sea más allá que "un indicio" leve para investigar después, pero parece imposible que se pueda utilizar como una prueba concluyente.

Figura 5: Proceso de prueba de las FRTs

Para localizar estos Ratios de Falsos Positivos (FPR) y de Falsos Negativos (FNR), se ha hecho un experimento en el artículo generando 50.000 imágenes sintéticas utilizando un modelo de StyleGAN3. Estas imágenes se han catalogado después en función de sexo y raza para conseguir una dispersión mayor y probarla con diferentes tipos de personas.

Figura 6: Humanos Sintéticos creados con StyleGAN3

La distribución de estas personas, en función de sexo y raza es más o menos homogénea en sexo, pero en raza se ha hecho una distribución sesgada entre raza blanca, negra y asiática, para probarlo en un entrono similar al que puede tener un país como los Estados Unidos.

Figura 7: Distribución de los Humanos Sintéticos generados

Ahora, lo siguiente que se ha hecho ha sido manipular esas imágenes para ponerlas en condiciones similares a las que se tienen las cámaras de seguridad y muchas de las investigaciones policiales, haciendo distorsiones de resolución, brillo, contraste, color, etcétera, y probar en condiciones NO ideales, que es a lo que se tienen que enfrentar las FRT de los cuerpos de seguridad que investigan los delitos.

Figura 8: Degradación de calidad de las imágenes para hacer FR

Ahora, una vez que se tienen las imágenes generadas, se corren los procesos con las FRT para calcular el número de Falsos Positivos (FP), el Total de Positivos (TP), el número de Falsos Negativos (FN),  Total de Negativos (TN), el Ratio de Falsos Positivos (FPR) y el Ratio de Falsos Negativos (FNR) todos ellos normalizados con el porcentaje de del sexo y raza de la población, para hacer una estimación más fiable de estos valores. Todos estos valores se miden haciendo búsquedas con objetivos en la base de datos, y con objetivos que no están en la base de datos - y que deberían no dar ninguna coincidencia -.

Figura 9: Algoritmos de medición de fiabilidad de FRTs

Y los resultados, como podríais imaginar son que tenemos un número significativo de Falsos Positivos, de Falsos Negativos, con sesgos más marcados por sexo y raza. En la siguiente tabla tenemos los Ratios de Falsos Positivos y Ratio de Falsos Negativos en función de la degradación de calidad de la imagen de búsqueda.

Figura 10: Ratio de Falsos Positivos y Ratio de Falsos Negativos

en función de calidad de las imágenes de búsqueda.

Pero, si lo miramos por tipo de degradación de la imagen, y por raza y género, vemos que los FPR y FNR son sensiblemente diferentes. Por ejemplo, hay más Falsos Negativos con imágenes de mujeres blancas con mala calidad de contraste que mujeres negras, pero hay más Falsos Positivos en mujeres negras que en mujeres blancas. 

Figura 11: FPR y FNR por sexo y raza

Pero es que si miramos cualquiera de las degradaciones de calidad, vemos que las FRT tienen diferentes FNR y FPR por raza y sexo, lo que hace que sea más propenso a dar un Falso Positivo o un Falso Negativo si tu raza es una u otra. Lo que hace que haya que poner estas tecnologías como indicios en las investigaciones policiales, pero nunca como prueba definitiva.

Figura 12: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Este tipo de investigaciones hacen que corrijamos errores que podemos cometer con la tecnología y que pueden afectar de manera muy seria a la vida de las personas. Por todo ello, si eres de los que te dedicas a hacer informes periciales o análisis forenses, conocer estos datos son fundamentales para ajustar tus conclusiones en su justa medida. Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligen

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

¿Chatear con Delfines usando Inteligencia Artificial? DolphinGemma. ¿Y entender a los perros? BarkGPT

Entender a los animales es una barrera que la humanidad lleva tiempo queriendo barrer. No del tipo que tiene que ver con "parece que me habla", sino realmente ser capaces de entender los detalles de su comunicación al máximo. La gente que estudia los comportamientos de los animales hacen una labor de investigación que nos permite entender no solo su lenguaje, sino su cultura, sus sociedades y cómo transmiten sus enseñanzas generación a generación.

Figura 1: ¿Chatear con Delfines usando Inteligencia Artificial? DolphinGemma.

¿Y con los perros? BarkGPT

En mi grupo de amigos de WhatsApp se habla de muchas cosas. De tonterías, por supuesto, pero también de tecnología, de economía, de cómo construirse una máquina de arcade desde cero, de donde hacer submarinismo, o de los mejores restaurantes y vinos que cada uno va descubriendo. Y de vez en cuando caen trabajos de investigación como éste del equipo de Google DeepMind llamado DolphinGemma donde han creado un dispositivo llamado CHAT (Cetacean Hearing and Telemetry) que busca ayudar a entender a los delfines por medio de reconocer su lenguaje y emitirlo.

Figura 2: DolphinGemma

Para ello, están utilizando un sistema de IA basado en Tokens de audio usando los modelos LLMs de Google Gemma, con el objeto de conseguir reconocer los Tokens, procesarlos y poder responder a ellos. Aún no están en esa fase de poder conversar con ellos, pero gracias a utilizar dispositivos móviles estándar basados en Google Pixel, de poder reconocer y emitir sonidos más rápidamente, al mismo tiempo que están entrenando el modelo.

Figura 3: Espectrograma del audio de una madre llamado a su cría

El trabajo de los investigadores de grabar, procesar y etiquetar los audios en todas las situaciones estudiadas en sus relaciones sociales, tales como el cortejo, la pelea, la educación de los hijos, etcétera, permite tener etiquetados espectrogramas de audios para saber cómo una madre llama a sus hijos para reclamar su atención, o qué le dice un delfín cortejando a una hembra.

Figura 4: CHAT (Cetacean Hearing and Telemetry)

El proyecto me parece precioso, pero están aún en las fases tempranas de la investigación, así que tendremos que esperar a ver qué resultados se consiguen con un poco más de tiempo. Que vamos paso a paso. 

Reconocimiento de sonidos y lenguaje de ratones y perros

Estos proyectos de utilizar la IA para entender mejor a los animales llevan años en las universidades, y algunos ya están muy avanzados. No solo para entender el lenguaje, sino sus hábitos y comportamientos completos. Hace tiempo yo hablé de WildBook que utiliza IA para reconocer a los animales salvajes que son vistos por medio de técnicas de reconocimiento "facial" de cada animal, para saber cómo se mueve, quién es, y por donde ha sido visto. 

Pero no solo a animales salvajes, también con animales más cercanos a nosotros, como los perros, las vacas o los primates, para los que las técnicas de reconocimiento facial son buenas para saber quién es cada uno de ellos.

Figura 5: DeepSqueak permite entender las conversaciones de los roedores

Volviendo al lenguaje, hay modelos de IA tan peculiares como DeepSquak, - publicado en la revista Nature - que es un modelo de DeepLearning utilizado para entender qué es lo que están diciendo los roedores, y que ya es del año 2019. 

Figura 6: BarkGPT en ChatGPT

Algo que hemos ido viendo con multitud de animales y clasificadores. De hecho, para los perros existen herramientas en ChatGPT como BarkGPT, que permite incluso subirle audios para que los analice.

Figura 7: El ladrido de aviso de la "bestia asesina"

Yo he subido el audio de uno de los momentos en el que la "Bestia Asesina" de 1kg de Mi Hacker & Mi Survivor estaba ladrando para que lo interprete, y vemos como reconoce los ladridos como un aviso de "Intruder Alert", ya que había visto una peligrosa paloma acercarse a la ventana... y claro, cuando pesas 1Kg y mides poco más de 30 centímetros, eso debe ser como ver un monstruo alado.

Figura 8: Análisis del audio de BarkGPT

El caso es que estos proyectos que nos acercan cada vez más a los animales, gracias a la IA, nos ayudará a generar mucha más empatía con ellos, algo que sin duda aún tenemos que mejorar como especie, para poder convivir mucho mejor con todos ellos.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Última llamada para la 2ª Edición del Programa de Especialización de "Inteligencia Artificial para Expertos en Ciberseguridad

Queda menos de una semana para que dé comienzo la 2ª Edición del  Programa de Especialización de "Inteligencia Artificial para Expertos en Ciberseguridad" el próximo 4 de Noviembre de 2024 así que os traigo el ÚLTIMO RECORDATORIO para que si te gusta este mundo reserves tu plaza cuanto antes, que no hay muchas y el curso va a dar comienzo. No va a haber ninguna edición próximamente, así que es tu última oportunidad de no perderte estar formado en esto para el comienzo de este año. 

Figura 1: Última llamada para la 2ª Edición del  Programa de Especialización

de "Inteligencia Artificial para Expertos en Ciberseguridad

La Inteligencia Artificial está produciendo una disrupción en todas las industrias profesionales, y en el caso de la Ciberseguridad es clarísimo su impacto. Los que seguís el lado del mal, mis conferencias o simplemente la actualidad tecnológica, ya sabéis lo importante de la Inteligencia Artificial en la Ciberseguridad, tanto como la utilizan los atacantes como los equipos Blue Team, Red Team o Purple Team en las empresas. 

Como este impacto es tan grande, la Universidad de Deusto con el Doctor Pablo García Bringas (que además fue parte del tribunal de mi tesis doctoral)  y yo hemos diseñado un Programa de Formación de Inteligencia Artificial para Expertos en Ciberseguridad de un mes de duración, que permitiera a Estudiantes de Informática y a Profesionales de ciberseguridad hacer un "Upgrade" al mundo de la Inteligencia Artificial, que fue lo que impartimos en la primera edicion.

Figura 2: Pablo García Bringas, Vicedecano de relaciones externas

de la Facultad de Ingeniería de la Universidad de Duesto

La formación tendrá lugar durante el mes de NOVIEMBRE de este año. Sólo hay una edición este curso académico, y las plazas están limitadas. Los módulos que tiene la formación, de un total de 48 horas, están centrados en temas actualizados a día de hoy, que hemos clasificado en:

• Coding for Hacking & AI
• AI Tools & Frameworks, Python Models, ML, GAN & GenAI Algorithms
• Cybersecurty Foundations
• Offensive & Defensive Security, Bugs, Exploits, Pentest, threats & Red Team Workloads
• AI Foundations
• Machine Learning, Deep Learning, RL, Cognitive Services, GANs & GenAI
• AI for Cybersecurity: Threat Hunting
• ML & DL for TH, Cognitive Services for CyberSecurity, Biometry, Eye Gazing, Solutions
• AI for CyberSecurity: DeepFakes
• APT with DF Tech, Synthetic Humans, Human Biometry, AI for Anti-DF Tech
• AI for Cybersecurity: Language Models
• SLM/LLMs for Red Team, Testing, OSINT, Exploiting, Automating
• Attack & Protect  LLM Apps & Services
• GenAI Digital Services, RAG Architectures, OWASP Top 10, Jailbreak, Firewalling, Content-Safety
• Adversarial Attacks on ML
• ML Attacks, FSGM & FGSM, Open ML Security Project
• Auditing & Pentesting AI
• Tools & Frameworks, Explicability, Robustness, Effectiveness
• Proyecto Final de IA & Ciberseguridad

Como podéis ver, el contenido del Programa de Especialización es una pasada y lleva todo lo más actual de este mundo para hacer un "Boost" de conocimiento en todas las áreas de trabajo en las que confluyen la Inteligencia Artificial y la Ciberseguridad. Para que os hagáis una idea del tipo de cosas que se ven, hace no mucho os publiqué el trabajo "Cómo utilizar GenAI para la detección de bugs en ficheros Web.config usando Ollama" de Fernando Gutiérrez Calderón, uno de los alumnos de la primera edición de este programa.

Figura 3: Cómo utilizar GenAI para la detección de

bugs en ficheros Web.config usando Ollama

Todas las clases se harán online por la tarde, pero hay tres actividades presenciales que tendrán lugar en la Universidad de Deusto en Bilbao a la que puedes asistir en presencial u online, y dará comienzo el próximo 4 de NOVIEMBRE.

Figura 4: Cronograma del programa de IA para Expertos en Ciberseguridad

Como podéis ver, yo estaré en varias actividades, como la presentación de proyectos, haré una conferencia presencial, estaré en la inauguración, y tendré una sesión de Q&A con los alumnos para responder dudas de la formación, o de orientación profesional en este mundo. Además, las clases las tendrás con muchos que seguro que ya conoces de mi equipo de Ideas Locas, y los proyectos, artículos, libros y charlas de los que vamos hablando por este blog.

Figura 5: Profesores del programa de IA para Expertos en Ciberseguridad 

Como podéis ver están Pablo González, Fran Ramírez, Álvaro Núñez-Romero, Javier del Pino, Javier Álvarez Páramo, Pablo Saucedo de Miguel y el grandísimo Rafael Troncoso. Todos compañeros de viaje en este mundo de Machine Learning, DeepLearning, AI, GenAI, SecDevOps, Pentesting, Hacking & Ciberseguridad en general.

Figura 6: Material del programa de IA para Expertos en Ciberseguridad 

Como complemento de la formación, además de las clases, la conferencia, la sesión de Q&A, los alumnos recibirán 5.000 Tempos para preguntar a los profesionales a través de MyPublicInbox después de que acabe el curso, y los libros de Ethical Haking y el de Machine Learning & Ciberseguridad de la editorial 0xWord.

Figura 7: Prueba de Singularity Hackers

También tendrán un Test de Singularity Hackers para tener una evaluación de sus capacidades y compatibilidad con roles profesionales en ciberseguridad, una entrada para poder asistir a OpenExpo Europe 2025. Además los alumnos tendrán la posibilidad de convertir su buzón de MyPublicInbox en un Perfil Público para poder tener mayor visibilidad profesional en Internet.

Registro al Programa de Especialización "Inteligencia Artificial para Expertos en Ciberseguridad"

Y ahora la parte más importante, si quiere registrarte y asistir al programa, tienes muy poco tiempo, así que debes formalizar tu matrícula antes del 1 de Ocubre de 2024, y tienes toda la información de la documentación y el precio en la Web del Programa de Inteligencia Artificial para Expertos en Ciberseguridad de la Universidad de Deusto.

Figura 8: Registro al Programa de Especialización "Inteligencia

Artificial para Expertos en Ciberseguridad"

Si eres estudiante de Grado de Informática o de Máster, si estás trabajando o quieres trabajar en Ciberseguridad, o si has terminado tus estudios de Informática, Telecomunicaciones, Matemáticas, Física o Ingeniería, y quieres dedicarte al mundo de la Ciberseguridad aplicando Inteligencia Artificial, entonces esta es tu ÚLTIMA OPORTUNIDAD DE REGISTRARTE PARA ESTE PROGRAMA y formarte en lo último de lo último que estamos viendo hoy en día en nuestro mundo.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Reserva tu plaza para la 2ª Edición del Programa de Especialización de "Inteligencia Artificial para Expertos en Ciberseguridad

Queda un mes para que dé comienzo la 2ª Edición del  Programa de Especialización de "Inteligencia Artificial para Expertos en Ciberseguridad" el próximo 4 de Noviembre de 2024 así que os traigo un recordatorio para que si te gusta este mundo reserves tu plaza cuanto antes, que no hay muchas. La Inteligencia Artificial está produciendo una disrupción en todas las industrias profesionales, y en el caso de la Ciberseguridad es clarísimo su impacto. Los que seguís el lado del mal, mis conferencias o simplemente la actualidad tecnológica, ya sabéis lo importante de la Inteligencia Artificial en la Ciberseguridad, tanto como la utilizan los atacantes como los equipos Blue Team, Red Team o Purple Team en las empresas. 

Figura 1: Programa de Especialización "Inteligencia Artificial para Expertos

en Ciberseguridad" 2ª Edición - Noviembre 2024

Como este impacto es tan grande, la Universidad de Deusto con el Doctor Pablo García Bringas (que además fue parte del tribunal de mi tesis doctoral)  y yo hemos diseñado un Programa de Formación de Inteligencia Artificial para Expertos en Ciberseguridad de un mes de duración, que permitiera a Estudiantes de Informática y a Profesionales de ciberseguridad hacer un "Upgrade" al mundo de la Inteligencia Artificial, que fue lo que impartimos en la primera edicion.

Figura 2: Pablo García Bringas, Vicedecano de relaciones externas

de la Facultad de Ingeniería de la Universidad de Duesto

La formación tendrá lugar durante el mes de NOVIEMBRE de este año. Sólo hay una edición este curso académico, y las plazas están limitadas. Los módulos que tiene la formación, de un total de 48 horas, están centrados en temas actualizados a día de hoy, que hemos clasificado en:

• Coding for Hacking & AI
• AI Tools & Frameworks, Python Models, ML, GAN & GenAI Algorithms
• Cybersecurty Foundations
• Offensive & Defensive Security, Bugs, Exploits, Pentest, threats & Red Team Workloads
• AI Foundations
• Machine Learning, Deep Learning, RL, Cognitive Services, GANs & GenAI
• AI for Cybersecurity: Threat Hunting
• ML & DL for TH, Cognitive Services for CyberSecurity, Biometry, Eye Gazing, Solutions
• AI for CyberSecurity: DeepFakes
• APT with DF Tech, Synthetic Humans, Human Biometry, AI for Anti-DF Tech
• AI for Cybersecurity: Language Models
• SLM/LLMs for Red Team, Testing, OSINT, Exploiting, Automating
• Attack & Protect  LLM Apps & Services
• GenAI Digital Services, RAG Architectures, OWASP Top 10, Jailbreak, Firewalling, Content-Safety
• Adversarial Attacks on ML
• ML Attacks, FSGM & FGSM, Open ML Security Project
• Auditing & Pentesting AI
• Tools & Frameworks, Explicability, Robustness, Effectiveness
• Proyecto Final de IA & Ciberseguridad

Como podéis ver, el contenido del Programa de Especialización es una pasada y lleva todo lo más actual de este mundo para hacer un "Boost" de conocimiento en todas las áreas de trabajo en las que confluyen la Inteligencia Artificial y la Ciberseguridad. Para que os hagáis una idea del tipo de cosas que se ven, hace no mucho os publiqué el trabajo "Cómo utilizar GenAI para la detección de bugs en ficheros Web.config usando Ollama" de Fernando Gutiérrez Calderón, uno de los alumnos de la primera edición de este programa.

Figura 3: Cómo utilizar GenAI para la detección de

bugs en ficheros Web.config usando Ollama

Todas las clases se harán online por la tarde, pero hay tres actividades presenciales que tendrán lugar en la Universidad de Deusto en Bilbao a la que puedes asistir en presencial u online, y dará comienzo el próximo 4 de NOVIEMBRE.

Figura 4: Cronograma del programa de IA para Expertos en Ciberseguridad

Como podéis ver, yo estaré en varias actividades, como la presentación de proyectos, haré una conferencia presencial, estaré en la inauguración, y tendré una sesión de Q&A con los alumnos para responder dudas de la formación, o de orientación profesional en este mundo. Además, las clases las tendrás con muchos que seguro que ya conoces de mi equipo de Ideas Locas, y los proyectos, artículos, libros y charlas de los que vamos hablando por este blog.

Figura 5: Profesores del programa de IA para Expertos en Ciberseguridad 

Como podéis ver están Pablo González, Fran Ramírez, Álvaro Núñez-Romero, Javier del Pino, Javier Álvarez Páramo, Pablo Saucedo de Miguel y el grandísimo Rafael Troncoso. Todos compañeros de viaje en este mundo de Machine Learning, DeepLearning, AI, GenAI, SecDevOps, Pentesting, Hacking & Ciberseguridad en general.

Figura 6: Material del programa de IA para Expertos en Ciberseguridad 

Como complemento de la formación, además de las clases, la conferencia, la sesión de Q&A, los alumnos recibirán 5.000 Tempos para preguntar a los profesionales a través de MyPublicInbox después de que acabe el curso, y los libros de Ethical Haking y el de Machine Learning & Ciberseguridad de la editorial 0xWord.

Figura 7: Prueba de Singularity Hackers

También tendrán un Test de Singularity Hackers para tener una evaluación de sus capacidades y compatibilidad con roles profesionales en ciberseguridad, una entrada para poder asistir a OpenExpo Europe 2025. Además los alumnos tendrán la posibilidad de convertir su buzón de MyPublicInbox en un Perfil Público para poder tener mayor visibilidad profesional en Internet.

Registro al Programa de Especialización "Inteligencia Artificial para Expertos en Ciberseguridad"

Y ahora la parte más importante, si quiere registrarte y asistir al programa, tienes muy poco tiempo, así que debes formalizar tu matrícula antes del 1 de Ocubre de 2024, y tienes toda la información de la documentación y el precio en la Web del Programa de Inteligencia Artificial para Expertos en Ciberseguridad de la Universidad de Deusto.

Figura 8: Registro al Programa de Especialización "Inteligencia

Artificial para Expertos en Ciberseguridad"

Si eres estudiante de Grado de Informática o de Máster, si estás trabajando en Ciberseguridad, o si has terminado tus estudios de Informática, Telecomunicaciones, Matemáticas, Física o Ingeniería, y quieres dedicarte al mundo de la Ciberseguridad aplicando Inteligencia Artificial, entonces esta es tu oportunidad de formarte en lo último de lo último que estamos viendo hoy en día en nuestro mundo.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Programa de Especialización "Inteligencia Artificial para Expertos en Ciberseguridad" 2ª Edición.

Hoy, en medio del verano, os traigo información de la 2ª Edición del  Programa de Especialización de "Inteligencia Artificial para Expertos en Ciberseguridad" que dará comienzo el próximo 4 de Noviembre de 2024. La Inteligencia Artificial está produciendo una disrupción en todas las industrias profesionales, y en el caso de la Ciberseguridad es clarísimo su impacto. Los que seguís el lado del mal, mis conferencias o simplemente la actualidad tecnológica, ya sabéis lo importante de la Inteligencia Artificial en la Ciberseguridad, tanto como la utilizan los atacantes como los equipos Blue Team, Red Team o Purple Team en las empresas. 

Figura 1: Programa de Especialización "Inteligencia Artificial para Expertos

en Ciberseguridad" 2ª Edición - Noviembre 2024

Como este impacto es tan grande, la Universidad de Deusto con el Doctor Pablo García Bringas (que además fue parte del tribunal de mi tesis doctoral)  y yo hemos diseñado un Programa de Formación de Inteligencia Artificial para Expertos en Ciberseguridad de un mes de duración, que permitiera a Estudiantes de Informática y a Profesionales de ciberseguridad hacer un "Upgrade" al mundo de la Inteligencia Artificial, que fue lo que impartimos en la primera edicion.

Figura 2: Pablo García Bringas, Vicedecano de relaciones externas

de la Facultad de Ingeniería de la Universidad de Duesto

La formación tendrá lugar durante el mes de NOVIEMBRE de este año. Solo hay una edición este curso académico, y las plazas están limitadas. Los módulos que tiene la formación, de un total de 48 horas, están centrados en temas actualizados a día de hoy, que hemos clasificado en:

• Coding for Hacking & AI
• AI Tools & Frameworks, Python Models, ML, GAN & GenAI Algorithms
• Cybersecurty Foundations
• Offensive & Defensive Security, Bugs, Exploits, Pentest, threats & Red Team Workloads
• AI Foundations
• Machine Learning, Deep Learning, RL, Cognitive Services, GANs & GenAI
• AI for Cybersecurity: Threat Hunting
• ML & DL for TH, Cognitive Services for CyberSecurity, Biometry, Eye Gazing, Solutions
• AI for CyberSecurity: DeepFakes
• APT with DF Tech, Synthetic Humans, Human Biometry, AI for Anti-DF Tech
• AI for Cybersecurity: Language Models
• SLM/LLMs for Red Team, Testing, OSINT, Exploiting, Automating
• Attack & Protect  LLM Apps & Services
• GenAI Digital Services, RAG Architectures, OWASP Top 10, Jailbreak, Firewalling, Content-Safety
• Adversarial Attacks on ML
• ML Attacks, FSGM & FGSM, Open ML Security Project
• Auditing & Pentesting AI
• Tools & Frameworks, Explicability, Robustness, Effectiveness
• Proyecto Final de IA & Ciberseguridad

Como podéis ver, el contenido del Programa de Especialización es una pasada y lleva todo lo más actual de este mundo para hacer un "Boost" de conocimiento en todas las áreas de trabajo en las que confluyen la Inteligencia Artificial y la Ciberseguridad. Para que os hagáis una idea del tipo de cosas que se ven, hace no mucho os publiqué el trabajo "Cómo utilizar GenAI para la detección de bugs en ficheros Web.config usando Ollama" de Fernando Gutiérrez Calderón, uno de los alumnos de la primera edición de este programa.

Figura 3: Cómo utilizar GenAI para la detección de

bugs en ficheros Web.config usando Ollama

Todas las clases se harán online por la tarde, pero hay tres actividades presenciales que tendrán lugar en la Universidad de Deusto en Bilbao a la que puedes asistir en presencial u online, y dará comienzo el próximo 4 de NOVIEMBRE.

Figura 4: Cronograma del programa de IA para Expertos en Ciberseguridad

Como podéis ver, yo estaré en varias actividades, como la presentación de proyectos, haré una conferencia presencial, estaré en la inauguración, y tendré una sesión de Q&A con los alumnos para responder dudas de la formación, o de orientación profesional en este mundo. Además, las clases las tendrás con muchos que seguro que ya conoces de mi equipo de Ideas Locas, y los proyectos, artículos, libros y charlas de los que vamos hablando por este blog.

Figura 5: Profesores del programa de IA para Expertos en Ciberseguridad 

Como podéis ver están Pablo González, Fran Ramírez, Álvaro Núñez-Romero, Javier del Pino, Javier Álvarez Páramo, Pablo Saucedo de Miguel y el grandísimo Rafael Troncoso. Todos compañeros de viaje en este mundo de Machine Learning, DeepLearning, AI, GenAI, SecDevOps, Pentesting, Hacking & Ciberseguridad en general.

Figura 6: Material del programa de IA para Expertos en Ciberseguridad 

Como complemento de la formación, además de las clases, la conferencia, la sesión de Q&A, los alumnos recibirán 5.000 Tempos para preguntar a los profesionales a través de MyPublicInbox después de que acabe el curso, y los libros de Ethical Haking y el de Machine Learning & Ciberseguridad de la editorial 0xWord.

Figura 7: Prueba de Singularity Hackers

También tendrán un Test de Singularity Hackers para tener una evaluación de sus capacidades y compatibilidad con roles profesionales en ciberseguridad, una entrada para poder asistir a OpenExpo Europe 2025. Además los alumnos tendrán la posibilidad de convertir su buzón de MyPublicInbox en un Perfil Público para poder tener mayor visibilidad profesional en Internet.

Registro al Programa de Especialización "Inteligencia Artificial para Expertos en Ciberseguridad"

Y ahora la parte más importante, si quiere registrarte y asistir al programa, tienes muy poco tiempo, así que debes formalizar tu matrícula antes del 1 de Ocubre de 2024, y tienes toda la información de la documentación y el precio en la Web del Programa de Inteligencia Artificial para Expertos en Ciberseguridad de la Universidad de Deusto.

Figura 8: Registro al Programa de Especialización "Inteligencia

Artificial para Expertos en Ciberseguridad"

Si eres estudiante de Grado de Informática o de Máster, si estás trabajando en Ciberseguridad, o si has terminado tus estudios de Informática, Telecomunicaciones, Matemáticas, Física o Ingeniería, y quieres dedicarte al mundo de la Ciberseguridad aplicando Inteligencia Artificial, entonces esta es tu oportunidad de formarte en lo último de lo último que estamos viendo hoy en día en nuestro mundo.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Cómo usar la Inteligencia Artificial para el Análisis de Audios de WhatsApp o Youtube en OSINT

En la primera parte de este artículo, titulada: "Cómo usar la Inteligencia Artificial para el Análisis Forense y la Ciberinvestigación de Audios" vimos algunas herramientas tanto comerciales como Open Source que se pueden utilizar para realizar estas tareas. En esta segunda vamos a ver cómo podemos utilizarlas en unos ejemplos concretos.

Figura 1: Cómo usar la Inteligencia Artificial para el

Análisis de Audios de WhatsApp o Youtube en OSINT

Para eso, vamos a analizar un audio de WhatsApp y la pista de un sonido de Youtube. La primera con ruidos de fondo, la segunda en medio de una discoteca. Por último vamos a ver cómo crear nuestro propio análisis con Python utilizando las herramientas Open Source. Vamos manos a la obra.

Cómo analizar las pistas de audio con Demucs & Mosaic.ai

Vamos a centrarnos en las aplicaciones que tenemos disponibles Open Source, en concreto con Demucs. Para esta prueba usaremos el siguiente audio donde aparece mi voz con un ruido de tráfico de fondo enviando un mensaje a Chema Alonso:

Figura 2: Audio de ejemplo principal, sin modificar

llamado AudioWhatsApp.wav (en el script)

Una vez instalado, ejecutarlo es muy sencillo, pero para demostrar las diferentes opciones de Demucs, he usado otro modelo para realizar la separación:

demucs -n mdx_extra AudioWhatsApp.wav

Con esto tendremos una carpeta de salida llamada “separated” donde aparecerán varios ficheros .wav. El que nos interesa es el “vocals” y el “others”, donde estarán la voz aislada y el ruido de fondo sin voz, respectivamente. En el fichero “vocals” podemos ver que ha habido una mejora sensible en la calidad de la voz aunque aún se oyen los coches de fondo:

Figura 3: Audio con la voz mejorada, aún con

ruido de fondo. AudioWhatsApp_Voz_A.wav

Pero podemos mejorar la separación de las pistas, para eso debemos usar otros modelos con Demucs y en concreto de MDX-Net. Existe una aplicación Open Source llamada “Ultimate Vocal Remover” que es una GUI para Demucs, facilitando mucho su utilización y selección de diferentes modelos:

Figura 4: UVR, Ultimate Voice Remover.

Cambiando de diferentes modelos y jugando con las diferentes opciones, podemos llegar a obtener una salida óptima, prácticamente limpia, en dos pistas diferentes, una con el tráfico y otra con la voz:

Figura 5: Pista con el tráfico o sonido de fondo

sin la voz. AudioWhatsApp_Trafico.wav

Tener la pista del sonido de tráfico puede permitir descubrir sonidos de todo tipo. Trenes, coches, camiones o motos. E incluso, podríamos analizar qué tipo de moto (o de coche) se escucha de fondo en uno de estos audios. Ya hicimos hace años un experimento con esto en el equipo de Ideas Locas llamado: ""Colega, ¿dónde está mi moto?". Cómo reconocer motos por su sonido con Inteligencia Artificial".

Figura 6: Espectrograma motocicleta en movimiento y

presencia de efecto Doppler a medida que se aleja el emisor

Y ahora la voz, donde notamos una clara mejoría respecto a la anterior prueba:

Figura 7:  Pista con la voz aislada prácticamente

limpia. AudioWhatsApp_Voz_B.wav

Para poder separar diferentes pistas en función del tipo de audio concreto como por ejemplo para identificar acciones o eventos específicos (como disparos, cristales rotos, etcétera) , artefactos (aviones, coches, motos, etcétera) tenemos que ir buscando modelos pre-entrenados o entrenarlo nosotros.

Figura 8: WhatsApp INT: OSINT en WhatsApp.

Nuevo libro de Luis Márquez en 0xWord.

Toda esa información se puede utilizar para hacer investigaciones más profundas sobre los audios que te envía una determinada persona por WhatsApp, así que si el OSINT es una parte de tu investigación, estas herramientas deben estar en tu mochila, al igual que las que publicamos en el artículo de "Are you Talkin' ta me?" donde presentamos cómo hacer Age Stimation, Gender Prediction, Sentiment Analysis con modelos de Machine Learning, así como los modelos para reconocer las voces y las personas que se escuchan en un audio.

Figura 9: Pista de audio de una entrevista

en una discoteca extraida con Moises.ai

En este otro ejemplo utilizamos Moises.ai para separar en dos pistas una entrevista en una discoteca publicada en un vídeo de Youtube. En el audio de arriba tenéis la pista de voz, y en el de abajo la pista de fondo, donde se escuchan el resto de los ruidos.

Figura 10: Pista de fondo de la entrevista de la discoteca

Las diferentes opciones que antes he mencionado son un buen comienzo para construir nuestro propio detector y separador de pistas de sonido. Vamos a ver un ejemplo a continuación.

Cómo crear nuestro propio identificador de sonidos

Una vez tenemos ya nuestra implementación para separar los sonidos en diferentes pistas de audio, tocaría entonces identificarlos. Para esto existen multitud de datasets, modelos pre-entrenados, aplicaciones online, etcétera. De nuevo nos centraremos en una aplicación Open Source y creando nuestro propio código en Python para que pase a formar parte de nuestra mochila de herramientas OSINT.

Figura 11: Open Source INTelligence (OSINT): Investigar personas e Identidades en Internet 2ª Edición de 0xWord, escrito por Vicente Aguilera y Carlos Seisdedos

En concreto usaremos YAMNet, un modelo de clasificación de audio preentrenado de Google, para identificar y clasificar sonidos. YAMNet está basado en la arquitectura de redes neuronales profundas y ha sido entrenado con el dataset AudioSet, que contiene una gran colección de todo tipo de sonidos etiquetados. El modelo está disponible a través de TensorFlow Hub, lo que permite su fácil integración en aplicaciones sin necesidad de entrenamiento desde cero.

Figura 12: Ejemplo de clasificación de sonidos con YAMNet

Usaremos Librosa para cargar y preprocesar el audio, asegurando que esté en mono y a 16 kHz, que es la tasa de muestreo esperada por YAMNet. Después de procesar el audio, el modelo genera probabilidades para cada clase de sonido, seleccionando las cinco etiquetas más probables. Estas etiquetas se cargan desde un archivo CSV local, lo que permite personalizar las categorías que el modelo puede reconocer. 

Aquí tienes el código para implementarlo, sólo hay que añadir un fichero .wav con la pista de audio a reconocer (NOTA: una buena predicción depende de muchos factores, calidad del audio, ruidos de fondo, etcétera):

import tensorflow as tf
import tensorflow_hub as hub
import numpy as np
import librosa
import csv

# YAMNet desde TensorFlow Hub
yamnet_model_url = 'https://tfhub.dev/google/yamnet/1'
yamnet_model = hub.load(yamnet_model_url)

# Etiquetas de clase de YAMNet desde un archivo CSV local
# https://github.com/tensorflow/models/blob/
# /master/research/audioset/yamnet/yamnet_class_map.csv
labels_csv_path = 'yamnet_class_map.csv'  

# Aquí cargamos las etiquetas desde el archivo CSV
def load_labels(csv_path):
    with open(csv_path, 'r') as f:
        reader = csv.reader(f)
        labels = [row[2] for row in reader if len(row) > 2]
    return labels

yamnet_labels = load_labels(labels_csv_path)

# Esta función se encarga de predecir sonidos partiendo de un archivo de audio
def predict_yamnet(file_path):
    # Cargar el archivo de audio
    waveform, sample_rate = librosa.load(file_path, sr=16000, mono=True)
    
    # Nos aseguramos que el audio es mono y tiene la tasa de muestreo adecuada
    if len(waveform.shape) > 1:
        waveform = waveform.mean(axis=1)

    # Borrado de cualquier dimensión extra
    waveform = waveform.astype(np.float32)

    # Predicción
    scores, embeddings, spectrogram = yamnet_model(waveform)

    # Obtenemos las 5 etiquetas más probables
    mean_scores = np.mean(scores, axis=0)
    top5_indices = np.argsort(mean_scores)[-5:][::-1]
    top5_labels = [yamnet_labels[i] for i in top5_indices]
    top5_scores = mean_scores[top5_indices]
    
    return list(zip(top5_labels, top5_scores))

# Archivo a analizar
audio_file_path = 'subway_sound.wav'  

# Código principal para obtener predicciones
predictions = predict_yamnet(audio_file_path)
for label, score in predictions:
    print(f"{label}: {score:.4f}")

Al ejecutarlo obtendremos una salida similar a la siguiente, en la cual hemos pasado como parámetro un fichero .wav del sonido de un tren de metro, donde vemos que aparece como la etiqueta más probable (0.54) pero también nos ofrece otras interesantes y relacionadas como ”traqueteo” o “crujido” (Crackle) con 0.65:

Figura 13: Detección con YAMNet para sonido de metro.

Si pasamos el código por un fragmento del audio de ejemplo extraído anteriormente del ruido de fondo del tráfico (sin voz y sin procesar la calidad) que tenemos en la Figura 5, obtenemos este resultado:

Figura 14: Detección con YAMNet para sonido el

sonido del tráfico extraído anteriormente.

Como vemos, “Crackle” suele ser un elemento bastante común ya que se encuentra en este tipo de audios (en todos estos sonidos hay crujidos, traqueteos, etcérera), pero la segunda etiqueta sí que la identifica como un sonido de tráfico, muy cercano al ruido de un tren.

El pitido de los coches en este caso los ha confundido con el pitido de un tren, pero, aun así, es un buen comienzo para ir afinando y perfeccionando este código y también la calidad del audio (ya que esto influye mucho en su identificación). A partir de este punto ya podríamos construir nuestro propio pipeline de limpieza y reconocimiento de sonidos usando Inteligencia Artificial.

Conclusiones

La Inteligencia Artificial ha propiciado un salto sin precedentes en el procesamiento de audio, ofreciendo herramientas precisas que pueden separar y analizar pistas de audio en contextos musicales y de cualquier otra naturaleza. Esta capacidad de aislar sonidos específicos en una grabación es un gran paso adelante en el Análisis Forense Digital, permitiendo a los investigadores examinar pruebas sonoras con una gran precisión y detalle.

A medida que la tecnología avanza, podemos esperar una mayor integración de la IA en estos procesos, lo que mejorará la precisión y eficiencia de la investigación. El análisis de audio que darán lugar a nuevas herramientas de análisis de audio que casi son de ciencia ficción.

Happy Hacking Hackers!!!

Autor: Fran Ramírez, es investigador de seguridad y miembro del equipo de Ideas Locas en CDO en Telefónica, co-autor del libro "Microhistorias: Anécdotas y Curiosidades de la historia de la informática (y los hackers)", del libro "Docker: SecDevOps", también de "Machine Learning aplicado a la Ciberseguridad” además del blog CyberHades. Puedes contactar con Fran Ramirez en MyPublicInbox.

 Contactar con Fran Ramírez en MyPublicInbox