WhoFi: Deep Person Re-identification. Cómo saber quién está en una ubicación midiendo la señal WiFi

El mundo de la visión WiFi, o lo que es lo mismo, "ver cosas" a partir de los datos de perturbación de la señal, lleva mucho tiempo estudiándose. Recuerdo que en el año 2009 hablé del paper titulado "Through-Wall Motion Tracking Using Variance-Based Radio Tomography Networks" donde explicaban cómo utilizar las variaciones de la señal WiFi para detectar movimiento de objetos detrás de muros.

Figura 1: WhoFi: Deep Person Re-identification.

Cómo saber quién está en una ubicación midiendo la señal WiFi

A partir de ese momento, hace ya más de quince años, se han hecho muchas investigaciones sobre cómo utilizar las perturbaciones en la señal de un canal - lo que se llama "Chanel State Information" (CSI) y que viene a ser la información que podemos mediar de un canal (por ejemplo la potencia de señal en una malla de campo ) - para poder detectar objetos, formas y movimientos.

Figura 2: "Through-Wall Motion Tracking Using

Variance-Based Radio Tomography Networks"

Tras ese trabajo, en el año 2014, con estas técnicas se era ya capaz de mucho más, como explicaron en un nuev paper titulado "Multi-Person Motion Tracking via RF Body Reflections", donde además de ver a través de los muros ya se era son capaz de llegar a detectar un número exacto de personas en movimiento o detectar el movimiento del pecho de una persona en concreto para poder conocer hasta el ritmo cardiaco, solo con medir el CSI de la red WiFi.

Figura 3: Multi-Person Motion Tracking via RF Body Reflections

La idea que se utiliza se basa en crear un dispositivo con múltiples antenas, de un tamaño muy manejable cercano al de una moneda, para poder triangular todas las señales reflejadas por un cuerpo, detectando en tiempo real el ritmo de la respiración e infiriendo el ritmo cardiaco.

Figura 4: Antenas WiFi incrustadas en el dispositivo que triangula los cuerpos

Por supuesto, desde aquel año 2009 hasta hoy, la evolución de las técnicas de Machine Learning, con los avances en algoritmos de Deep Learning, ha hecho que con los nuevos algoritmos de Inteligencia Artificial, puedes hacer extracción mucho más fina de los datos CSI de una red WiFi, y de eso trata el trabajo de WhoFi, de ser capaz de re-identificar a una persona que entra en un espacio por medio de las perturbaciones en la señal WiFi, o lo que es lo mismo, de los datos del CSI que se generan. 

Figura 5: WhoFi: Deep Person Re-Identification via

Wi-Fi Channel Signal Encoding

La idea no es nueva, y se basa en trabajos y datasets disponibles de trabajos anteriores, como "SenseFi: A library and benchmark on deep-learning-empowered WiFi human sensing" y el sistema de autenticación "CAUTION: A Robust WiFi-Based Human Authentication System via Few-Shot Open-Set Recognition"  que utiliza unas pocas capturas de CSI para hacer una huella de una persona usando Deep Learning. En el caso de WhoFi, lo que se busca es, aprovechando los avances en algorítmica de IA, conseguir un ratio de acierto mucho mayor en la re-identificación de personas previamente hechas "onboarding".

Figura 6: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Primeramente se le hace un onboarding en el sistema, construyendo para cada persona un vector normalizado a partir de un Encoder de IA que que procesa los datos CSI del canal WiFi, con el objetivo de generar una huella digital de esa persona.

Figura 7: Generación de huella a partir de CSI generado por una persona

El Enconder, lo han construido con varios modelos diferentes, para probar cuál de ellos daba mejores ratios, y los que han probado han sido los que mejores resultados dan en secuencias de datos temporales, como son los LSTM, los Bi-LSTM y nuestros queridos Transformers, que también se pueden usar para visión.

Figura 8: Encoders de IA utilizados en WhoFi

Los resultados quedan muy a las claras en las siguientes tablas, donde todos los datasets utilizados - incluidos datos CSI generados con técnicas de Data Augmentation para tener un mayor número de personas onboarding - dejan a las claras que con con los Transformers se consiguen ratios de re-identificación altísimos y con una gran precision.

Figura 9: Ratios de éxito y precision de los modelos

Esto es algo muy relevante, porque utilizar los datos CSI de la WiFi como forma de autenticación continua puede cambiar los sistemas de alarma en el hogar, detectando si son las personas que deben ser las que están en casa o no, por ejemplo, para tener una alarma silenciosa, pero también se podrían usar para vigilar espacios, movimientos de personas, etcétera.

Figura 2: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández

Al final, tenemos un canal de datos, y con el avance de las técnicas de Inteligencia Artificial, los casos de uso que pueden aparecer son cada vez mayores, al ser capaces de detectar aún más insights de información de los datos disponibles. Datos + Algoritmos = Programas, y hoy en día, Datos + IA = Conocimiento.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)