Hasta el momento he publicado cuatro artículos sobre temas de los que he hablado algunas veces, pero aprovechando el espacio para revisarlos, expandirlos y deleitarme en explicaciones más detalladas.
Ayer publiqué en el último artículo hasta el momento que he enviado para la revista, que titulé “La «Máquina Aprendiendo» que nombró secretaria a tu hija e ingeniero a tu hijo”, y que va de algo que creo que está mal, y que dos de las empresas más grandes de este planeta, con una valoración de trillones de dólares y superior al PIB de muchos grandes países, deberían subsanar.
Al publicarlo, algunos quisieron mezclar mi artículo con temas politizados que tienen que ver con la lengua. Por desgracia, hasta esos temas se politizan y se mezclan con cosas que no tienen nada que ver, así que, he decidido dar una explicación más larga y detallada para ver si consigo explicarme un poco más y llegar a más gente para que quede clara mi petición que, además, he “
oficilizado”
en Change.ORG por si tu quieres ayudarme con esto.
Es
mi segunda petición en Change.Org tras haber pedido que la RAE cambiara la definición de hacker, y espero que tenga el mismo resultado que la anterior, donde la
RAE demostró un comportamiento excepcional y supo adaptarse, algo que les he agradecido muchas veces.
Las herramientas informáticas y los bugs
Vengo del mundo de la seguridad informática y estoy acostumbrado a reportar
bugs, leaks, features weaponizables, y
weaknesses (cómo podéis ver, en un artículo que tiene que ver estoy utilizando muchos términos anglosajones en mi descripción, pero no es casual, como veréis más adelante). Estoy acostumbrado a decir “
creo que esto está mal y hay que arreglarlo”. Y como todos los que hemos estado en esta industria de la seguridad informática y el hacking, hemos terminado por pasar por fases similares. Primero te dicen que está bien así, que es “
una feature no un bug”, segundo que no es importante, y al final se corrige.
Por suerte, hoy en día, debilidades como el
DirtyTooth de
Apple, el bug de
FaceID bypass en WhatsApp, o el
leak de una dirección IP interna de en Parallel RAS, se toman más en serio, se aceptan y se buscan soluciones más rápidamente. Son bugs catalogados, documentados, estudiados, procedimentados. Tenemos una industria muy trabajada en el mundo de la seguridad informática y el
hacking gracias a que muchos
hackers han creado proyectos colaborativos para documentar lo que es un bug, para medir su impacto, para medir el riesgo, para tener catalogados todos y cada uno de los fallos descubiertos, para exigir la solución y reparación de ellos porque puede afectar a la seguridad o privacidad de uno de los usuarios de esa tecnología.
Ha sido el trabajo de muchos años, campañas como “
No more free exploits”, proyectos como
Google Zero Project, trabajo de muchas comunidades y
CONS de
hacking que han tenido que luchar hasta con demandas legales por dejar que un investigador contara algo en el escenario, etcétera, para conseguir que cuando un investigador, un
hacker, un usuario reporta algo que está mal en el área de seguridad informática, se arregle.
Hoy, las grandes empresas tecnológicas, ya se toman esto más en serio. La comunidad de
hacking y seguridad informática ha sido fuerte, ha colaborado, ha empujado los límites, y ha conseguido que la sociedad se tome en serio y respete el trabajo de los investigadores de seguridad. Si aparece un
bug, la empresa sabe que hay que arreglarlo o sufrirá la presión de la comunidad hasta que lo haga. Hasta los investigadores de
Google Project Zero pusieron límites a sus reportes públicos para forzar a que empresas como
Microsoft o
Apple arreglen los bugs que ellos localizan.
Pero… ¿qué sucede con los fallos que no tienen que ver con seguridad informática? Por ejemplo, cuando un corrector ortográfico de un procesador de textos tan popular como
Microsoft Office Word o como
Google Docs marca como erróneo un termino que es correcto en lengua castellana. Evidentemente, no parece a priori que haya un impacto en seguridad o privacidad para los usuarios, pero sí que hay un impacto.
El problema es que ese impacto es difícil de medir porque no hay una comunidad, una cultura, proyectos colaborativos que haya medido ese impacto. No se puede poner un
CVE, ni calcular el
CVSS (Common Vulnerability Scoring System). No se ha hecho un trabajo tan elaborado en tener catalogados los fallos como tiene
OWASP o las debilidades. Pero, cada fallo de un sistema tiene su consecuencia y puede afectar a una persona o una comunidad.
En el caso del
algoritmo de Machine Learning que pusimos de ejemplo en el que una inteligencia artificial decidía blanquear el color de piel de las imágenes teníamos un fallo que podría impactar a ciertas comunidades de personas si no se corregía. No es un fallo de seguridad como tal, pero sí que existen entornos donde, aplicada la salida de ese algoritmo como parte de la toma de decisiones, puede afectar a la vida de una persona. Y por eso vemos que ese algoritmo está mal y hay que corregirlo.
En el ejemplo que ponía yo de los correctores ortográficos que marcan como error términos correctos en nuestra lengua, como expliqué en el artículo de
la viralización de los errores y el cercenamiento de nuestra lengua, afectan a la comunidad hispanohablante de una manera muy significativa. Hacen creer a los usuarios que ciertos términos son erróneos y estos dejan de usarlos, con lo que la riqueza de nuestra lengua se reduce. Esto mismo sucede al contrario con los errores, se hace creer a los usuarios que el termino es correcto y falla la comunicación, con lo que al final nuestra lengua es un poco menos efectiva en su objetivo principal, ser soporte de obras artísticas, negocios, sentimientos o comunicación efectiva.
Pero como he dicho antes, en este tipo de fallos – porque evidentemente que un corrector ortográfico marque como erróneo un termino correcto es un fallo - no es fácil medirlo ni forzar su corrección. Si no hay un incentivo para que la empresa lo corrija, no se va a producir dicho arreglo. Y la única forma de que la empresa encuentre ese incentivo es mediante un impacto en la cuenta de resultados porque los usuarios dejen de utilizar esas herramientas o una comunidad que lo demande con firmeza, como sucedió en la industria de la seguridad informática y el hacking. Si no, se pone en el
backlog y ya se arreglará cuando haya tiempo.
La traducción de profesiones en Google y Microsoft con género
En esta parte de este extenso artículo, voy a centrarme en lo que es
un fallo en sí en un sistema informático que hace traducciones. En la siguiente, me centraré en
por qué creo que hay que arreglarlo. Y en la última parte en cuáles son los
debates que quieren enredar y que no tienen nada que ver con esto.
Para empezar, no hay que olvidar que la lengua es una herramienta de comunicación. Una forma en la que dos personas hacen que lo que pasa por su cerebro se codifique en un lenguaje que el destinatario de la comunicación sea capaz de decodificar. Cuando más rico es ese lenguaje, más ajustadas pueden ser las codificaciones de lo que el emisor quiere comunicar, y lo que llega al destinatario.
Es decir, supongamos que yo quiero comunicarle algo a una persona. Lo que está dentro de mí es un mensaje que llamaremos
"Mensaje Original". Ese es un mensaje dentro de mi cabeza, dentro de mí, con muchos matices, sensaciones, metáforas, memorias, etc.. No todo lo que tiene en ese mensaje se puede comunicar en un lenguaje escrito. Algunos necesitan de música. De ambientes. De olores. El
"Mensaje Original" que está en los emisores es mucho más rico que lo que se va a poder enviar por el medio.
Como primera fase, hay que codificar ese
"Mensaje Original" en un lenguaje de comunicación dando como resultado el
"Mensaje Comunicado". Cuanto más rico será ese lenguaje y más diestro el emisor con el lenguaje, más cercano será el
"Mensaje Comunicado" al
"Mensaje Original". Si nuestra lengua de comunicación materna pierde riqueza, entonces el
"Mensaje Original" y el
"Mensaje Comunicado" serán más distantes.
Por ejemplo, esto es como si yo quiero que tú veas lo que yo estoy viendo. Lo que ve mi cerebro a través de mis ojos y el funcionamiento de mi sistema de visión es una cosa. Si le hago una foto con una cámara y la codifico en formato de fichero, lo que va en ese mensaje comunicado dependerá de la calidad de mi cámara de fotos, y del formato elegido (del lenguaje).
Y ahora llega la decodificación. El receptor del mensaje nunca ve el
"Mensaje Original". Solo tiene acceso al
"Mensaje Comunicado", y él deberá decodificarlo en un
"Mensaje Recibido" que, difícilmente será igual que el
"Mensaje Comunicado". Es decir, en un proceso de comunicación hay cambios entre el
"Mensaje Original", el
"Mensaje Comunicado" y
"Mensaje Recibido". O lo que solemos expresar como:
"Lo que se piensa, lo que se dice, lo que se entiende."
La gracia es que
NO siempre es con perdida de calidad. La gracia es que a lo mejor hay contaminación de mensaje. Los famosos malentendidos. Y por supuesto, los mensajes ocultos que no van a ti, que van directamente a tu cerebro de forma subliminal. De forma que no puedas defenderte. Cuántas discusiones habremos tenido por
“eso que me has dicho ha querido decir otra cosa”.
Cuando usamos una herramienta para codificar información, como por ejemplo una cámara de fotografías, un formato de ficheros o una herramienta de transmisión de archivos, puede que por falta de capacidad, deterioremos la comunicación. Si tenemos una fotografía de
16 M de colores, y la codificamos en un lenguaje con perdida de calidad como
JPEG, y después la enviamos por
WhatsApp o
Telegram con compresión y reducción de calidad, lo que llega se ha deteriorado.
En la comunicación escrita hoy en día, utilizamos muchas herramientas en la comunicación, como por ejemplo el corrector ortográfico o, como nos atañe ahora, el traductor. Si utilizo un mal traductor, tendremos pérdida de información. Por ejemplo, si traducimos
“La vendedora” en
Google, veremos que hay un deterioro de la información en el mensaje, ya que hemos perdido el género de la persona. Es decir, en el mensaje original hemos dado dos informaciones: Su profesión y que era una mujer. En la traducción que ha hecho
Google Translate solo va una, la profesión.
Figura 4: Se pierde el género que aparece en el texto original
¿Es correcto desde el punto de vista gramatical? Sí. ¿Hace bien su trabajo? No del todo. ¿Afecta a las personas que utilicen esta tecnología? Sí, claro. Los que utilicen esta herramienta para traducir correos electrónicos al inglés verán empobrecida su comunicación porque hay información que se ha perdido. Igual que cuando se traduce una frase hecha con mucha información en ella y se hace una traducción literal. Se empobrece la comunicación del que se usa.
De nuevo, por si alguno quiere politizar este ejemplo, en inglés existe
salesman y
saleswoman para que esto no pase en este ejemplo concreto, y si ponemos un nombre femenino delante vemos que
Google lo utiliza. No busquéis política aquí, se trata solo de un funcionamiento pobre de una herramienta informática en algunos casos. Ya está.
Figura 5: Si ponemos el nombre de María, no se pierde la información
en la traducción que hace Google al inglés.
El número de ejemplos de malas traducciones es altísimo. No estamos descubriendo el fuego. Funciona como está por ahora, y está mal. No es un idioma prioritario. En el caso del
Chino y el Inglés, se ha conseguido la paridad humana traduciendo noticias entre ellos, pero conseguir esto en
Español e
Inglés aún estamos lejos por falta de priorización de las inversiones. Solo eso.
Por qué hay que arreglar el Sesgo en las profesiones
Dentro de los mil y un ejemplos que podremos dar de malas traducciones, existen algunos que son especialmente peligrosos. El propio
Google, cuando presentaba el sistema TCAV para descubrir cuándo un algoritmo suyo había aprendido con sesgo, como el caso en el que sus sistemas de visión artificial reconocían a los doctores por tener bata blanca, estetoscopio y ser hombres, reconocía que esto estaba mal.
Figura 6: Ejemplo de Google TCAV de aprendizaje con sesgo de género
Microsoft, en sus principios de IA dice que están "
comprometidos con el avance de la Inteligencia Artificial con principios éticos que pongan a las personas primero". Esto es algo importante y de lo que hablé en mi discurso de
tecnología humanista. Si hacemos tecnología que afecta negativamente a la vida de una persona o una comunidad, no estamos haciendo bien las cosas. Y la tecnología que se utiliza en la comunicación es muy relevante, pero no solo porque empobrezca la comunicación – que ya está mal -, sino porque puede enturbiarla y enviar mensajes que no estaban en la comunicación inicial.
En el ejemplo anterior he puesto un caso en el que al usar el traductor de
Google hemos quitado información. Hemos quitado la información del género de la persona que ejercía una profesión. Hemos empobrecido la comunicación original.
Pero, ¿qué pasa cuando se elige arbitrariamente el genero de la comunicación? Pues mucho peor, estamos manipulando, estamos rompiendo la integridad de la comunicación, estamos modificando el mensaje original.
Así, cuando ponemos algo como esto y
Microsoft y
Google deciden que
"judge" es hombre,
"nurse" enfermera y que
"engineer" es hombre,
están añadiendo información que no estaba en el mensaje original. Y eso no está solo mal que añadan información inventada, sino que además
esa información adicional se ha añadido en base a estereotipos, sesgos, que como sociedad queremos cambiar.
Figura 7: Se ha inventado el género de todas las profesiones
¿Y porque hay que arreglarlo? Pues primero porque está funcionando mal añadiendo información que no estaba, y eso es un fallo. Segundo porque la información que está enviando le está llegando a personas que la van a utilizar. Vamos a hacer un experimento.
Por ejemplo, supongamos que estamos en una clase de niños de
6 o 7 años que no han estudiado inglés, y proponemos este ejercicio. Van a ser ilustradores, como muchos de los grandes ilustradores que tenemos en este país que trabajan para
Estados Unidos o
Inglaterra. Tienen que ilustrar la notica, y el titular que tienen es el del ejemplo anterior. ¿Cómo creeréis que van a ilustrar “
judge”, “
nurse” y “
engineer”? Pues con el sexo que les haya dado traductor. Pero es que además, si el lector lee la noticia traducida – como hacen muchos lectores hispanohablantes – leerán información que no es verdad, que está directamente inventada por el traductor por muy correcta que sea ortográfica y sintácticamente hablando.
Y como tercer y último motivo, es
por los mensajes subliminales que inyecta al hacer una manipulación de la información añadiendo géneros que no existen de forma sesgada. Hay que tener en cuenta que lo que el receptor recibe no es siempre lo que el emisor quería comunicar. Y puede que incluso comunique cosas que no se querían comunicar.
Por ejemplo, en el mundo de la publicidad, si todos los folletos de bicicletas de una empresa muestran bicicletas de paseo con cestas con fotos de niñas felices, y bicicletas de montaña con niños fuertes haciendo deporte. ¿Qué es lo que está comunicando el emisor? ¿Se está mandando un mensaje explícito o implícito? ¿Es posible que alguno de los cerebros de los que ven esa revista accedan a algún mensaje más allá de la marca, el modelo y el precio de las bicicletas? La película
Origen del gran
Nolan y
Leonardo di Caprio aborda este tema desde un punto de la ciencia ficción. No hay nada más poderoso que una idea que se cuela en el cerebro de una persona de forma inconsciente, ya que pensará que la idea es suya y no podrá defenderse de ella.
Esto es muy conocido en el mundo la publicidad, y por ello durante años se ha estado utilizando. Hoy en día esto está muy regulado, y conlleva sanciones económicas, y según la “
Ley 7/2010, de 31 de marzo, General de la Comunicación Audiovisual” se define “
Publicidad Subliminal” como:
“Es publicidad subliminal la que mediante técnicas de producción de estímulos de intensidades fronterizas con los umbrales de los sentidos o análogas, pueda actuar sobre el público destinatario sin ser conscientemente percibida.”
No, no me malinterpretéis. No estoy diciendo para nada que una traducción que añada de manera arbitraria el género a una profesión de manera sesgada (niñas: secretarias y enfermeras, hombres: jueces e ingenieros), esté haciendo publicidad subliminal. Para nada. Lo que estoy diciendo es que manda un mensaje subliminal del que no pueden defenderse niños y niñas al ayudar a viralizar estereotipos de profesiones a género. Y eso está mal. ¿Fallaba la IA de Google al usar hombre como factor para reconocer a un doctor? Pues según sus datos de entrenamiento no, pero como bien decían en la conferencia, eso estaba mal.
En definitiva, hay que arreglar esto porque:
A) Está mal que empobrezca la comunicación.
B) Está aún peor que se invente datos en la comunicación.
C) La viralización masiva de traducciones con género inventado y sesgado envía un mensaje subliminal a la toda la comunidad hispanohablante que utilice estas herramientas en su vida.
Y lo que es más fácil, se puede arreglar tan fácilmente y sin entrar en el mensaje enturbiado político, que con un esfuerzo muy pequeño se tendría un impacto muy grande, más cuando estamos utilizando todas estas herramientas en la educación en colegios e institutos.
Cómo arreglarlo y dejar aparte los debates político-lingüísticos que no están aquí
Vayamos a ver el problema desde un punto de vista informático, que es de lo que estamos hablando aquí, de una herramienta informática. Supongamos que tenemos una frase en inglés con profesiones que hay que traducir al español. ¿Que debería realizar el traductor una vez que sepa que salen profesiones con género en el resultado? Primero averiguar si es posible conocer el género de la profesión en la frase en idioma original. Si se puede detectar, hay que elegir una de las formas de codificar ese género. Y esto es algo que está totalmente fuera de lo que concierne este artículo.
Está claro que los profesionales que ejercen una profesión pueden tener en español género femenino o género masculino. Y existen tres corrientes ideológicas que se han politizado al respecto, y de las que hay que estar fuera en este debate del artículo. Yo me mantengo al margen de estas tres corrientes. Las tres me valen. Son los tres tipos de discusiones que suelen enturbiar este caso, y que os dejo aquí:
a) Usar los artículos para el genero en profesiones: No me quiero extender en el debate, pero son las que mantienen el nombre de la profesión invariable en las profesiones.
-. La juez/El juez. La presidente/El presidente. La comerciante/El comerciante.
b) Crear profesiones para los dos géneros:
-. La jueza/El juez. La presidenta/El presidente. La comercianta/El comerciante.
c) Eliminar el género de las profesiones
-. Le juez. Les estudiantes. Les policies. Les enfermeres.
Esto es algo en lo que yo no entro, y que se entronca con otro debate feroz. Entre los puristas que no quieren que la lengua se contamine con términos y formas de otras lenguas y los que creen que la evolución de la lengua es buena. Yo, aquí, personalmente, creo que la evolución de la lengua es buena, y que palabras como canoa, quilombo, polera, vespino, pololo o hacker, han enriquecido nuestro idioma ampliando la riqueza del lenguaje con términos que traen nuevas formas de comunicarse o nuevos matices. Y yo uso muchos términos en inglés que tienen una definición exacta de lo que quiero decir y se entienden bien por los destinatarios de mis textos de este blog, como exploit, leak, bug, etc...
Pero de nuevo,
estos debates no tiene nada que ver con el poner géneros sesgados en traducciones.
Si vemos el traductor de
Microsoft, podemos ver que
"parece" que ellos han optado por utilizar la opción
b), aunque como podéis ver, con “
presidenta” falla estrepitosamente.
El término “presidenta” está en el diccionario de la RAE desde 1803 y su origen se remonta al siglo XIV, pero la traducción falla.
Figura 8: Traducciones con género por Microsoft Translator
En el caso de
Google, de nuevo
"parece" que la opción es similar, pero como vemos, en el caso de juez, ha elegido la opción
a). Y esto es muy importante, porque ayuda a entender que realmente no están eligiendo ninguna opción, sino que es lo que haya aprendido el algoritmo.
Figura 9: Elecciones de Google para los géneros
Al final, la como podemos ver en los ejemplos, la selección de los algoritmos de traducción de la opción
a), b) o
c) no es un posicionamiento para nada de las compañías en el debate “
politizado”.
Simplemente han dejado sus algoritmos que aprendan de los datos y los resultados son los que el algoritmo haya aprendido. Y ese es el problema si no lo controlas, que aprenden con errores, y con sesgos de género.
Y ese es el problema grave que hay que subsanar.
Veréis, visto lo anterior, está claro que si el motor de traducción es capaz de detectar el género en la frase, puede utilizar la opción a), b) o c), pero lo cierto es que el algoritmo está utilizando datos sin preocuparse de que el resultado traducido haya sido aprendido desde un texto en el que se sabía el género o desde un texto en el que no se sabía un género, y eso es lo que hay que arreglar, porque si no lo haces, viralizas los sesgos de género en las traducciones. Puede ser que no sepa ni qué esta traduciendo profesiones, géneros, etcétera y que solo esté buscando comparaciones en textos traducidos en el pasado en los que busca comparaciones de las frases. Hay que saber cómo ha aprendido, pero lo cierto es que tiene errores grabes y sesgos
Así que, el traductor, una vez que saque los términos en profesiones con genero, debe arreglarse para que pueda saber si conoce el género o no para cada una de ellas y tomar una decisión de cómo informar al usuario del género y de si no lo ha reconocido. Si lo ha detectado, puede usar las opciones a), b) o c) anteriores o la que haya aprendido el algoritmo en cada caso, pero si no lo ha detectado debe dejarlo claro al usuario de la herramienta de alguna forma
Figura 10: Una propuesta para evitar el sesgo de género subliminal
Esto puede ser visualmente, para que sepa que el género ha sido elegido arbitrariamente, como proponía yo hace un año y medio, con indicaciones múltiples: el/la juez, el/la juez/a, o con artículos neutros o indefinidos: un/a, le, los, similares.
Para terminar: Una herramienta en la educación del presente y el futuro.
Quiero remarcar que para mí es un fallo de una herramienta informática que viraliza un sesgo de género y está mal. Entiendo perfectamente porque se genera ese sesgo en la herramienta ya que utiliza textos masivos con aprendizaje automático y es lo que aprende. Pero hoy en día, en el que t
anto Google como Microsoft tiene una oferta de herramientas para educación y elearning tan potente, y el
traductor es una pieza clave en el paquete de soluciones, deberían hacer esfuerzos para arreglar ese sesgo, y por eso he
abierto la petición en change.org.
Por supuesto,
si eres profesor de primaria, y utilizas estos traductores en clase, es muy importante que seas consciente de que tienen sesgo de género y que pongas sobre aviso a todos los alumnos que lo utilicen, para que sepan que - si no saben inglés - no se pueden fiar de los géneros de las profesiones en las traducciones de
Google o
Microsoft porque pueden ser arbitrarios con sesgo.
Saludos Malignos,
Sigue El lado del mal en Telegram
Chema Alonso en Threads
Chema Alonso en Mastodon
Chema Alonso en BSKY
Chema Alonso en Linkedin
DragonJAR
8.8 Chile
Ekoparty
e-Hack MX 
AREA 51 
Comunidad Dojo Panamá 
ARPAHE SOLUTIONS 
