Mostrando entradas con la etiqueta Entrevistas. Mostrar todas las entradas
Mostrando entradas con la etiqueta Entrevistas. Mostrar todas las entradas

domingo, septiembre 14, 2025

Entrevista con Meredith Whittaker, Presidente de Signal. Transcripción y traducción al Español

La semana pasada entrevisté a Meredith Whittaker sobre privacidad, ética de la IA y, por supuesto, Signal. El vídeo está en Youtube, pero si eres de los que aún disfrutan leer entrevistas, aquí tienes la transcripción. Para el placer de leer las palabras de Meredith.

Figura 1: Entrevista con Meredith Whittaker, Presidente de Signal.
Transcripción y traducción al Español

Sabes que he estado siguiendo Signal desde el principio. Tuve la oportunidad de estar en muchas, muchísimas conferencias con Moxie. Hemos compartido vino alrededor del mundo, en Buenos Aires, en Noruega, etc. Así que conozco muy bien el proyecto y los valores que hay detrás, así que preparé esas diez preguntas. Siéntete libre de responderlas como quieras; si alguna no te gusta, cámbiala, ¿de acuerdo? 1.- Voy a empezar con dos preguntas, sobre tus orígenes y hablando sobre la ética de la IA, que para mí son interesantes, especialmente porque estudiaste alfabetización retórica y luego te convertiste en una de las principales voces mundiales en ética de la inteligencia artificial, lo cual es fascinante. ¿Cómo fue ese proceso para Meredith Whittaker trabajando en empresas tecnológicas y estando tan preocupada por los derechos civiles?

Bueno, creo que al principio me interesé y quizá estuve preocupada por la IA no por mis estudios de literatura o retórica, sino porque había trabajado mucho en la construcción de sistemas de medición a gran escala. Y así, estaba efectivamente en el corazón de los procesos para crear datos y luego hacer afirmaciones sobre esos datos como una representación fiable de la realidad dinámica. Y sabía lo difícil que era eso.

Sabía que los datos siempre eran imperfectos. Siempre parciales. Nunca contaban toda la historia. Así que, a principios de la década de 2010, cuando vi por primera vez el aprendizaje automático y luego todos decidimos usar el término IA, convertirse en lo siguiente tras el artículo de AlexNet y el reconocimiento de que las GPU podían potenciar enormemente el cómputo disponible para el entrenamiento de redes neuronales.


Me preocupé mucho al principio porque las fuentes de datos que se utilizaban y las afirmaciones que se realizaban sobre los modelos creados con esos datos no eran precisas, no eran suficientes para reflejar lo que decían, ciertamente no eran suficientes para crear una máquina inteligente, y los tipos de historias que contamos sobre inteligencia, sobre sofisticación computacional, servían para persuadir a la gente de confiar y dar credibilidad, en definitiva, a grandes empresas, grandes actores corporativos que pueden o no tener como objetivo central el beneficio social amplio y que crean estas tecnologías y herramientas tras cortinas de secreto corporativo.

Por supuesto, no son open source. No están abiertos al escrutinio. Y estamos entrando en una situación donde, en última instancia, se nos pide confiar en la salida de una caja negra como si fuera inteligente, como si fuera más objetivo y fiable que nosotros, sin manera de escrutarlo. Y sigo pensando que esas dinámicas están presentes y sigo pensando que es una posición muy arriesgada como mundo y como sociedad, dado que nuestros intereses no siempre coinciden con los de los directorios de esas pocas empresas.

2.- ¿Crees que el cambio significativo puede venir desde dentro de las grandes empresas tecnológicas, o los modelos externos y alternativos son el único camino posible?

¿Te refieres a un cambio positivo significativo?

Exacto. Sí.

Sabes, he visto a mucha gente dentro de esas empresas hacer cosas positivas. Hay muchas personas que defienden ciertos valores, ciertas prácticas. Pero no creo, creo que si la lógica de la organización es crecer a cualquier coste, generar ingresos a cualquier coste, y el cambio social positivo cuesta dinero o frena el crecimiento, no verás ese cambio positivo dentro de esas empresas.

Y creo que, en última instancia, cuando hablamos de entender qué cambios podrían tener un impacto social positivo amplio, categóricamente necesitas una amplia participación. Necesitas entender lo que la gente quiere y necesita y las condiciones de vida.

Y eso requiere alguna forma de participación democrática, de comprensión de lo que pasa en el terreno y luego qué medidas hacen falta para remediarlo, sean tecnológicas o no.

3.- Hablas de crecimiento, pero Signal ha crecido hasta cerca de 70 millones de usuarios manteniendo un modelo de negocio completamente distinto al de otras plataformas tecnológicas. ¿Qué hace que Signal sea fundamentalmente diferente de otras apps de mensajería, más allá del sistema técnico de cifrado que todos conocen?

Bueno, como sabes, se fundó hace más de una década con una visión muy clara, por Moxie, que sé que conoces, y se mantiene fiel a esa visión. Es inflexible en su objetivo de proporcionar un medio para ejercer el derecho humano a la comunicación privada, incluso en un mundo donde ese derecho ha sido clausurado y erosionado en casi todos los ámbitos.

Así que hacemos una cosa y la hacemos extremadamente bien. Y somos consistentes en esa cosa. Llegamos en un momento en el que el mercado no estaba saturado. Antes de que el iPhone estuviera ampliamente distribuido, antes de que los smartphones fueran ubicuos. Antes de WhatsApp. Era otro panorama en el ecosistema de internet o las aplicaciones. A través de un trabajo constante y, diría, visionario que viene de Moxie, Trevor y los fundadores, Signal ha desarrollado una reputación, ha creado un efecto red.


Ha sido open source desde el principio. Así que no tienes que creerme a mí, ni a Moxie, ni a nadie. Puedes mirar nuestros repositorios. Puedes ver que sí, lo que decimos es lo que hacemos. Y si lo cambiamos, puedes señalárnoslo. Así que hay un compromiso con la misión, con la visión, y creo que una pureza en lo que hacemos que... es profundamente apreciada en el ecosistema, pero que con el tiempo ha construido el tipo de confianza que no puedes fabricar de un día para otro.

Es una confianza ganada por la acción constante, por el compromiso que Signal ha demostrado con la misión de las comunicaciones privadas. Y eso está en todo lo que hacemos, es lo único que hacemos, es nuestro camino. Y creo que eso es lo que nos hace especiales.

No intentamos complacer a los accionistas. No intentamos añadir un widget de IA. No intentamos ser la app para todo. Hacemos una cosa, la hacemos muy bien y la hacemos porque creemos que es fundamental para el futuro de un mundo habitable, que ese derecho permanezca, ese derecho a comunicarse en privado.

Bueno, y para hacerlo, la estructura sin ánimo de lucro que mantiene Signal no es un lujo, sino esencial, como has dicho muchas veces. Exactamente.

4.- Has dicho también que la mayoría de la gente no son usuarios de inteligencia artificial, sino que están sometidos a su uso. ¿Cómo conecta la misión de Signal con esta preocupación más amplia sobre los desequilibrios de poder tecnológicos?

Bueno, creo que sabes que Signal no es una compañía de IA, Signal hace una cosa muy, muy bien y, en cierto sentido, está en tensión con el paradigma dominante de la IA, que es el enfoque de big data, cuanto más, mejor, que requiere enormes cantidades de datos, podemos considerar eso como fruto de la vigilancia para entrenar modelos y luego necesita muchos datos para la inferencia, ya sean tus prompts o tu historial de navegación, tus emails para crear un resumen o lo que sea.

Estos modelos necesitan tus datos. Y, por supuesto, ¿cuál es el asunto de Signal? Queremos recopilar la menor cantidad posible de datos. No queremos tus datos. No queremos poder entregarlos. Si me volviera malvada de repente, tampoco quiero poder entregarlos.

No queremos tener acceso a ellos. Así que hay una tensión fundamental entre el compromiso claro con la privacidad que encarna Signal y la creencia que tengo de que es posible un ecosistema tecnológico que no se base en recopilar y vender tus datos, en procesar tus datos y usarlos para decir quién eres y dónde encajas en la vida, que no parta de esas premisas. Y el estado actual de la IA, que por supuesto exige más y más datos y produce más y más datos.

5.- Esto de la privacidad no es fácil. Signal necesita unos cincuenta millones al año sólo para mantener la operación y supone un reto estructural construir tecnología sostenible fuera de la economía de la vigilancia. ¿Cómo imaginas la sostenibilidad a largo plazo para la empresa? ¿Y qué debería cambiar en el ecosistema tecnológico para que tecnologías centradas en la privacidad, como Signal, no sólo sean posibles sino financieramente viables a escala?

Sí. Bueno, mira, ser una organización sin ánimo de lucro no es divertido. No es especialmente virtuoso. Es bastante difícil cuando gestionas una infraestructura de comunicaciones en tiempo real a gran escala que es confiada por cientos de millones de personas en todo el mundo. Para nosotros, ser sin ánimo de lucro es necesario porque, como hemos dicho, el beneficio y los ingresos provienen de... recopilar y monetizar datos, ya sea para vender anuncios o para entrenar tu modelo de IA. Ese es el motor de la economía tecnológica en la que existimos. Y ser sin ánimo de lucro no significa que para Signal sea más barato desarrollar y mantener esta infraestructura.

Es muy, muy caro. Cincuenta millones de dólares al año es un presupuesto muy bajo para algo como Signal. En la mayoría de empresas con ánimo de lucro, el equipo sería mucho mayor y gastaríamos mucho más, pero lo mantenemos muy limitado y muy enfocado. Pero aun así, esto no es un proyecto barato de voluntarios. Estas infraestructuras críticas que requieren conectividad global en tiempo real son carísimas. Así que estamos explorando distintas formas de financiar esto.

Actualmente existimos gracias a donaciones. Unas setenta por ciento de nuestros ingresos provienen de grandes donantes encabezados por Brian Acton, cofundador de WhatsApp, quien ha dado una contribución generosa. También tenemos a Jack Dorsey y otros que han aportado una financiación importante. Un treinta por ciento de nuestra financiación proviene de pequeños donantes, es decir, personas que donan cinco o diez dólares al mes, lo cual es un número significativo de personas y estamos muy agradecidos.

Figura 5: Una entrevista con Meredith Whittaker, Presidente de Signal
(Entrevista completa en inglés en Youtube)

Buscamos ampliar nuestra base de pequeños donantes, vamos a lanzar muy pronto una función freemium, ofreciendo copias de seguridad seguras, para recuperar Signal si tu teléfono sufre algún desastre. Por una pequeña cuota, si quieres guardar todos tus archivos multimedia para siempre, o cien gigas de tus archivos para siempre, podrás pagar 1,99 dólares al mes para hacerlo.

Así que estamos experimentando con el modelo freemium. Hemos estudiado la opción de una dotación, otras fórmulas, y exploramos lo posible. Pero sin socavar la misión central, porque lo que no podemos tener es un accionista o miembro de la junta en una estructura con ánimo de lucro presionándonos para debilitar la privacidad porque entienden que la forma de ganar dinero en la actual economía tecnológica es recopilar y monetizar datos, es debilitar la privacidad. Y ese es el equilibrio que logramos.

Sí, bueno, cuando leí cincuenta millones de dólares al año, y llevo muchos años gestionando presupuestos para empresas tecnológicas, creando tecnología, pensaba “wow, cincuenta millones solo para todo, crear, operar, innovar... Es magia”. Y mencionabas a Jack Dorsey. Él sabe muy bien lo caro que es crear tecnología a escala. Es asombroso lo que hacéis.

Y no es fácil porque tenemos un futuro y hay que seguir trabajando en privacidad. Hablamos de computación cuántica, cada día surgen nuevas amenazas para atacar la privacidad como el RSA que cada día alguien intenta romper, y tenemos agentes de IA que pueden atacar directamente la seguridad del dispositivo y afrontáis otro reto que es el endpoint. También tenemos cambios regulatorios en cada país y según el mensaje político del momento, está cambiando.

6.- ¿Cómo sería el éxito para Signal en la próxima década? ¿Qué papel esperas que juegue en la configuración de un futuro digital diferente?

El éxito para Signal en la próxima década sería sobrevivir y prosperar. Nuestro objetivo es que cualquier persona, en cualquier parte del mundo, pueda tomar su dispositivo y usar Signal fácilmente para contactar a cualquiera. Vemos la privacidad como un derecho humano fundamental; debe integrarse como sentido común en nuestras aplicaciones y servicios.

Por supuesto, aún no hemos llegado a eso, pero el éxito y el crecimiento que estamos viendo nos da esperanza a medida que las personas se sensibilizan personal y socialmente sobre lo importante que es comunicar en privado. Pero tendremos que resistir leyes mal planteadas y a menudo maliciosas que buscan, como siempre desde los años 90, socavar la posibilidad de privacidad para la gente común, confiando en el pensamiento mágico de que sólo gobiernos y fuerzas del orden pueden tener privacidad.

Por supuesto, sabemos que si hay una puerta trasera, es para todos, y se socava para todos. Así que seguimos luchando contra eso y haciendo divulgación.

También estamos, como mencionas, muy preocupados por la integración de supuestos agentes de IA, estos sistemas que suelen ser grandes modelos de lenguaje integrados al nivel del sistema operativo en varios sistemas.

Intentan hacer cosas por ti sin tu permiso, actuar automáticamente con acceso a muchos datos de formas inseguras que amenazan nuestra capacidad de proteger la privacidad a nivel aplicación. Hemos dado la voz de alarma por ello.

Vamos a colaborar con gente de la industria para proponer salvaguardas de sentido común y deshabilitaciones a nivel desarrollador. Pensamos que debe ser muy fácil y claro para apps como Signal “apagar el acceso” a tus datos por parte del agente de IA.

Esto está fuera de límites. No puede estar en el contexto del agente, no puede tocar los mensajes de Signal. Es demasiado importante. Todas las apps deberían poder decidir eso. Estamos moviendo propuestas y remedios para que Signal y apps similares mantengan la capacidad de proteger a sus usuarios.

7.- Ahora mismo todos los sistemas operativos incluyen tecnología de IA en el software base y si no aceptas los términos y condiciones muchas funciones del teléfono o del ordenador quedan bloqueadas, así que para los usuarios es difícil evitar esa fase y no dejar que el software de IA acceda a sus datos. Hay que hacer entender qué están aceptando. Y hablas de actores maliciosos. En el pasado, Signal ha sido infraestructura clave en conflictos. No quiero mencionar ninguno porque todos han sido diferentes. Pero ¿cómo equilibras el papel de Signal como herramienta para todas las partes en un conflicto? ¿Qué significa operar en ese espacio de disputa global?

Para poder servir a todos y garantizar privacidad, Signal debe estar ampliamente disponible. Así es la verdad de la encriptación. O funciona para todos, o está rota para todos. Signal no sabe quién usa Signal. Nos esforzamos por no tener datos. Oímos que gobiernos, defensores de derechos humanos, periodistas, militares, directivos… en fin, cualquiera con información sensible usa Signal en alguna capacidad, pero mantenemos nuestro camino.

Nos limitamos a crear una plataforma robusta, gratuita y privada de comunicación para todos, porque creemos que es un derecho fundamental y todos deberían tener acceso. Eso incluye a las personas que quieres y a las que no. Signal está disponible para todos.

Si no, entonces no cumplimos nuestra misión y tal vez socavamos las garantías de privacidad que sustentan esa misión.

Sí, pero debe ser difícil porque seguro que muchas veces recibes presiones de distintos actores y en muchos países para cumplir la ley, etcétera. No es fácil.

8.- Hablabas de la IA hambrienta de datos. Uno de los lugares más afectados es la web, donde los grandes LLMs han estado y siguen alimentándose de datos y destruyen el tráfico y el negocio que los publicadores tenían antes. ¿Cómo ves el futuro de las webs ahora que los grandes modelos de IA se han convertido en máquinas de respuesta para usuarios con todo el contenido creado en tiempo real accesible sin compartir tráfico con los creadores de contenido?

Creo que sin un cambio significativo de rumbo, será la muerte de la web abierta y es una perspectiva muy sombría para el futuro de los contenidos y la creatividad humana, la escritura, el arte, la música en general. Es muy preocupante. No es un área que haya estudiado a fondo. No la conozco como otras áreas, pero aun así me preocupa bastante. Y desearía que tuviésemos mejores herramientas que el copyright para remediar esto.

9.- Última pregunta, no quiero robarte más tiempo. Si sólo pudieras decirle una cosa a quienes usan otras plataformas de mensajería, ¿qué les dirías sobre migrar a Signal? Así que, para convencer a alguien de pasarse a Signal, ¿cuál sería tu mensaje?

Primero quiero decir: usas un mensajero porque quieres hablar con tus amigos. La comunicación trata de relaciones humanas. No es cuestión de pureza o de elegir la app correcta. Así que te entiendo. Quieres estar en el grupo, ir a la fiesta. Yo también. Eso es humano. De eso se trata la vida.

Sin embargo, pasa tus grupos cercanos a Signal, porque no quieres verte en esas situaciones, como dicen. No quieres que tu texto termine filtrado en un volcado de documentos. No quieres que una filtración publique tus chats en línea. No quieres que un cambio de régimen convierta en ilegal lo que hoy es normal y empiecen a revisar bases de datos para perseguir a la gente.

Creo que Signal funciona muy, muy bien. Es una app encantadora, elegante, sin funciones inútiles que algún ejecutivo obligue a integrar para cumplir con objetivos de la empresa. Sinceramente es la app de mensajería más limpia y eficiente que conozco.

Empieza pasando algunos de tus grupos a Signal. Poco a poco la gente migrará porque sentirán que lo que dicen, el desahogo que mandan a su mejor amigo, la nota de voz que comparten en su grupo, nunca aparecerá en una filtración.

Nunca se verá en una brecha de datos y nadie lo malinterpretará tras acceder a tus datos más íntimos.

Me encanta escucharte. Ha sido un honor tener esta charla contigo. Me siento feliz de haber conversado contigo. Muchas gracias, Meredith. Muchas gracias.

Y gracias por mantener la buena lucha tantos años.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


viernes, septiembre 12, 2025

An Interview with Meredith Whittaker (transcript)

Last week I interviewed with Meredith Whittaker about Privacy, AI Ethics and, of course, Signal. You have the video in Youtube, but if you are of those that still love reading interviews, here you have the transcript of it. For the joy of reading Meredith words.


Interview with Meredith Whittaker

You know that I've been following Signal in the beginning, I had the opportunity of being in many, many conferences with Moxie. We've been sharing wine around the world in Buenos Aires, in Norway, etc. So I know very well the project and the values that are behind the project so i created that ten questions. Feel free to answer answer them your own way so if you don't like anything then change it, okay?


1.- So I'm going to start with two questions, about your backgrounds and talking about AI ethics, that to me are interesting, especially because you studied rhetorical literacy and later become one of the world's leading voices in artificial intelligence ethics, which is fascinating. How was that process for Meredith Whitettaker working in tech companies and to be so worried about civil rights?

Well, I think I was initially interested and maybe a bit concerned around AI based not on my literature, my rhetoric backgrounds, but because I had done a lot of work building large scale measurement systems. And so I was effectively at the heart of the processes for creating data and then making claims about that data as a reliable representation of dynamic reality. And I knew how difficult that was.

I knew that data was always imperfect. It was always partial. It was never the whole story. And so in the early twenty tens, when I saw first machine learning and then we all decided to use the term AI become the next big things following the Alex Net paper, following the recognition that GPUs could effectively supercharge the compute available for neural network training.

Figura 3: Interview with Meredith Whittaker

I became very concerned initially that the data sources that were being used and the claims that were being made about these models created with this data were not accurate, were not sufficient to reflect the things that were being claimed, were certainly not sufficient to create an intelligent machine, and that the types of stories we tell about intelligence, about computational sophistication, were serving to entice people to trust and lend credibility to ultimately what are large companies, large corporate actors who may or may not have as their core objective broad social benefit and who create these technologies and these tools behind shrouds of corporate secrecy.

They're, of course, not open source. They're not open to scrutiny. And we were walking into a situation where we were ultimately being asked to trust whatever the output of a black box was. as if it were intelligent, as if it were more objective and reliable than we were without a way to scrutinize that. And I still think those dynamics are at play, and I still think that is a very risky position to be in as a world and as a society, given that our interests don't always overlap with the boardrooms of these handful of companies.

2.- So do you believe that meaningful change can come from within big tech companies or is external and alternative models the only way to go path forward?

You mean like meaningful positive change?

Right. Yeah.

You know, I have seen a lot of people within those companies do things that were positive. There are many people who hold the line on certain values, on certain practices. But I don't think, I think fundamentally, if the logic of an organization is grow at all costs, you know, generate revenue at all costs, and positive social change will cost money or will hamper growth, you're not going to see positive social change come from those companies.

And I think ultimately when we're talking about even understanding what those changes might be that would have a broad positive social impact, you categorically need broad participation. You need to understand what people want and what people need and what the conditions of life are.

And that requires one or another form of democratic participation of understanding what's happening on the ground and then what measures are needed to remediate it, whether those measures are technological or not.

3.- You are talking about growth, but Signal has grown to around seventy, seven-zero million users while maintaining a completely different business model from the other tech platforms. What makes Signal fundamentally different from other messaging apps beyond just the technical encryption system that everybody knows?

Well, as you know, it was founded over a decade ago with a very clear vision by Moxie, who I know you know, and it stays true to that vision. It is uncompromising in its pursuit of providing a means to exercise the human right for private communication, even in a world where that right has been foreclosed and whittled away in almost all other realms.

And so we do one thing and we do it extremely well. And we are consistent with that one thing. We came along at a time when the market wasn't saturated. This is before the iPhone was largely distributed, before smartphones were ubiquitous. This is before WhatsApp. This is a very different landscape in the internet or the application ecosystem through consistent and, I would say, visionary work that has its source with Moxie and with Trevor and with those founders, Signal has developed a reputation, developed a network effect.


It has been open source since the beginning. So you don't have to take my word for it. You don't have to take Moxie's word for it. You don't have to take anyone's word for it. You can look at our repos. You can see that, yes, the things that they say are the things that it does. And if we change that, you can call us out on it. And so there is a commitment to mission, a commitment to vision, and I think a purity to what we do that is... deeply appreciated across the ecosystem, but that over time has built the kind of trust that you can't just manufacture overnight.

It's a trust that is gained by consistent action through the type of commitment that Signal has shown to the mission of private communications. And that is in everything we do, that is the one thing we do that is our lane. And I think that is what makes us special.

We're not trying to please shareholders. We're not trying to add a little AI widget. We're not trying to boil the ocean and become the everything app. We do one thing, we do it very well, and we do it because we believe it is fundamentally important to the future of a livable world that this right remain, this right to communicate privately.

Well, and to do that, that non-profit structure that Signal is maintaining is not that nice to have, but actually essential, as you've been saying many, many times. 

Exactly.

4.- Now, you said also that most people are not users of artificial intelligence, but rather subjected to its use. How does Signal's mission connect to this broader concern about technological power imbalances? 

Yeah, well I think you know signal is not an ai company again signal does one thing very very well and in some sense it's attention with some of the the dominant paradigm of ai right now which is this big data bigger is better approach that requires huge amounts of data you know we could think of that as the product of surveillance in order to train these models and then requires a huge amounts of data to inform the models for inference, whether it's your prompts or your browser history to create a summary or your emails to create a summary or what have it.

These models need your data. And of course, what is Signal's whole deal? We want to collect as close to no data as possible. We don't want your data. We don't want to be able to give your data up. If I turned evil overnight, I still don't want to be able to give your data up.

We don't want to have access to it. And so there is a fundamental tension there between the clear and commitment to privacy that Signal embodies and the belief that I have that a tech ecosystem that is not based on the collection and sale of your data, on the processing of your data and the use to tell you who you are and where you fit in life, that a tech ecosystem that doesn't build on those premises is possible. And the current state of AI, which of course demands more and more and more data and produces more and more and more data.

5.- This business of privacy is not easy. Just, Signal, goes about fifty million a year just to maintain this operation and it makes a structural challenge of building sustainable technology outside of this surveillance economy. How do you envision the long-term sustainability for the company? And what would need to change in the broader tech ecosystem to make privacy-first technology like Signal not just possible, but financially viable at scale?

Yeah. I mean, well, look, being a nonprofit it's not fun. It's not particularly virtuous. It's a bit difficult when you're running a large-scale, real-time communications infrastructure that is trusted by hundreds of millions of people around the world. I think for us, being a nonprofit is necessary because, as we discussed, profit and revenue come from... collecting and monetizing data, whether it be to sell ads or to train your AI model. And that's the engine of the tech economy that we exist in. And being a nonprofit doesn't mean it's any cheaper for Signal to develop and maintain this infrastructure.

It's very, very expensive. You know, fifty million dollars a year is a a very low budget for something like Signal. In most for-profit companies, we would have a much bigger team, we would be spending a lot more, and we keep it very narrow and very focused. But nonetheless, this is not a cheap volunteer project. These critical infrastructures that require real-time connectivity globally are very, very expensive. And so we are exploring many ways to finance this.

Currently, we exist on donations. We have about seventy percent of our revenue comes in from large donors helmed by Brian Acton, who has provided a generous contribution. uh he's the the co-founder of Whatsapp uh we also have Jack Dorsey and others who provided significant funding uh and then we have about thirty percent of our funding comes from smaller donors so you know people in the app who donate five or ten dollars a month and you know that's a significant number of people and we're very very grateful for that we're looking at growing our small donor pool we're looking at we're launching a freemium feature very soon so we'll be adding use uh secure backups um which will allow you to recover your signal if your phone say gets thrown in a lake or or some catastrophe like that happens and for a small fee if you want to save all of your media files forever or a hundred hundred gigs of your media files forever you will be able to pay one a dollar and ninety nine cents a month to do that.

So we're experimenting with a freemium model. We've looked at things like an endowment. We've looked at other vehicles and we're ultimately we're exploring what is possible. But again, without undermining that core mission, because what we can't have is a shareholder or a board member in a for profit structure pushing us to undermine privacy because they understand that the way to make money in the current tech economy is to collect and monetize data, is to undermine that privacy. And so that's really the balance that we are striking.

Yeah, well, when I was reading, fifty million dollars a year, and I've been many, many years managing budgets for big tech companies, creating technology, I was saying, oh, this is amazing, fifty million. dollars just for everything, creating the technology, operating the technology, innovate, etc. It's doing magic. And you were mentioning Jack Dorsey. He knows very well how expensive is creating technology at scale. So it's amazing what you do. 

And it's not easy because we have a future and we need to continue working in privacy. We are talking about quantum computing. We have every day new threats in in attacking privacy like the RSA that every day people are trying to to crack it, and we have AI agents that can undermine directly the device security and you are facing another challenge which is the end point.  We have the regulatory changes in every country and depending how is the political message right now, it's changing.

6.- What does success look like for Signal in the next decade? And what role do you hope it plays in shaping a different kind of digital future?

Yeah, well, I think success for Signal in the next decade looks like surviving and thriving our goal is that everyone in the world everywhere can pick up their device and easily use signal to contact anyone else we see privacy as a fundamental human right it is a fundamental human right and that this should be integrated as common sense into our applications and services.

We're obviously not there yet but your Signal success and the growth that we're seeing as people become more personally sensitized to the stakes of privacy to how important it is to be able to communicate privately is giving me some hope there but of course we will have to push back on misguided and often malicious legislation that aims as it always has since the liberalization of encryption in the late nineties to undermine the ability for your common people to have privacy you know based on the magical thinking that it's somehow possible to allow only governments and law enforcement access to privacy.

And of course, we know that if there's a backdoor anywhere, it is a backdoor for everyone and you have undermined it for everyone. So we continue to push against that legislation and try to do advocacy and education around the importance to strong privacy for everyone.

We are also, as you mentioned, very concerned with the integration of so-called AI agents, these software systems that involve usually large language models that are being integrated at the operating system level across various operating systems.

They're intended to do things on your behalf without your permission. So act autonomously based on access to huge amounts of data in ways that are not secure and that pose a real threat to our ability to continue providing robust privacy at the application layer. So we have raised the alarm there.

We're going to be working with people across the industry to propose common sense safeguards and developer level opt outs. We think it needs to be very it needs to be easy and clear for apps like Signal to flip a switch and say, no, you cannot access Signal data for your AI agent.

This is off limits. This cannot become part of your context window. You are not allowed to touch Signal messages. This is too important and that all applications should be able to make that call. And we're pushing on those and some other, again, remediations that could maintain the ability for Signal and apps like Signal to make their own choices and protect their users at the application level.

7.- Right now all operating systems are having the AI technology on the software base and if you don't accept the terms of condition many of the features that the smartphone or the of the desktop machine is having are completely blocked, so for a user it's difficult to to to stop that phase and not letting the AI software getting access to the data. So we need to make people understand what they are saying Yes to. So it's not easy. And you were talking about bad actors. In the past, Signal has become crucial infrastructure during conflicts. I don't want to mention any of them because each of them has been different. But how do you balance Signal's role as a tool for them, for each of the parts in that conflict? What does it mean for Signal to operate in this contested space of a world in conflict?

In order to work for anyone, in order to provide privacy, Signal needs to be available widely. And I think this is really the truth of encryption. Either it works for everyone or it's broken for everyone. So, you know, Signal doesn't know who uses Signal. We go out of our way to have as little data as possible. We do hear from people that governments, human rights workers, journalists, militaries, boardrooms, basically anyone who has high stakes information uses Signal in some capacity, but we remain in our lane.

Our lane is providing robust freely available private communications platform for everyone across the board. We believe this is a fundamental human right, and everyone should have access to it. And that means the people you love, and that means the people you don't love. Ultimately, Signal is available for everyone.

And if it's not, then we're not, you know, If it's not, then we are undermining our mission and potentially undermining the privacy guarantees on which that mission is based. Yeah, but should be difficult because for sure many, many times you receive pressure from different actors and in many countries asking for accomplishing the law, etcetera. So it's not easy.

8.- You were talking about artificial intelligence eager for getting data. And one of the most affected places for doing that is the web in which all the big LLMs have been or are constantly eating data from webs and the traffic is completely destroyed for the business that the publisher of the content were having until they appear. How do you see the future of the website with the big artificial intelligence models becoming the answering machine for users with all the content that is created in real time accessible without sharing the traffic with the content providers?

I think without a significant change in trajectory, it spells the death of the open web and it strikes a very grim note for the future of human produced content and creativity and writing, art, music in general. It's very concerning to me. It's not an area I've studied deeply. It's not an area that I am as familiar with as I am in other areas. But nonetheless, it is something that I am deeply concerned with. And it's something I wish we had better tools than copyright to remediate.

9.- And last question, I don't want to take more of your time. If you have only one thing to say to people that are simply using other messaging platforms, what do you say to them related to migrate to Signal?

asas So move to Signal, what should be your message for them? Well, first I want to say, The reason you use a messenger is because you want to talk to your friends. Communication is about human relationships. It's not about purity. It's not about choosing the right platform. So I understand you. I see you. It's fine. You're there because you want to be included in the group chat. You want to go to the party. So do I. That's human. That's the point of life. 

However, move your close groups to Signal because you just don't want to go out that way, as they say. You don't want to have that text leaked in a document dump. You don't want a data breach to publish your group chats online. You don't want a regime change to suddenly make what you're doing today, which is totally normal and legal, illegal in three years and begin to look through databases to prosecute people.

I think that Signal Happily works very, very well. It is lovely. It is classy. It is not full of crappy little features that some product manager forced us to integrate because they're trying to please a company OKR. It is honestly the sleekest and most well-functioning messaging app that I am familiar with.

And I think that start moving a couple of your groups to Signal. And then slowly more and more people will migrate because it just feels nicer to know that whatever you're saying, whatever rant you are typing out to your best friend, whatever random voice note you are sharing with your girls chat is never going to show up in discovery. 

It is never going to show up in a data breach and it will never be misconstrued by some enemy wanting to paint you in a bad light after they got access to your most intimate data. 

Well, I really love to listen to you. And I would like to say thank you. It's been an honor to listen to you this time. And I feel completely happy after having this talk. Thank you very much, Meredith. Thank you so much. 

And thank you for keeping up the good fight for so many years. 
It's been such a delight to talk to you. 

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


miércoles, septiembre 10, 2025

Una entrevista con Meredith Whittaker, Presidente de Signal

Hace un par de días tuve la suerte de poder hacer una pequeña entrevista de 10 preguntas Meredith Whittaker, que es la Presidente de Signal Foundation, la organización sin ánimo de lucro que cuida de la financiación y el control de la plataforma y el servicio Signal, para garantizar que la privacidad del servicio no se ve comprometida por la sostenibilidad de la organización que la crea. 
Así que, como os podéis imaginar, la entrevista que le hice a Meredith Whittaker fue alrededor de estos temas. Yo he tenido la suerte de pasar tiempo con Moxie Marlinskpike, compartir cenas, vinos, charlas y algunas risas - que es el fundador de Signal -, así que cuando me surgió la oportunidad de tener un rato a Meredith, que es una de las líderes mundiales en AI Ethics, no podía pasar esta oportunidad. Aquí tenéis la entrevista en Youtube.

Figura 2: Una entrevista con Meredith Whittaker, Presidente de Signal

Además, si queréis contactar con ella, y preguntarle alguna cosa, Meredith Whittaker tiene abierto un buzón público en MyPublicInbox, donde estará al alcance de vuestros mensajes.
La entrevista es inglés, pero en un par de días os dejo la transcripción limpia en Inglés y en Español por si queréis leerla mejor.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


miércoles, agosto 06, 2025

De Hacker a Hacker: Pablo González vs. Manuel S. Lemos

Para hoy os traigo la última de las entrevistas que ha hecha nuestro querido Pablo González en su sección "De hacker a hacker", donde entrevista a profesionales de la ciberseguridad, el pentesting, el hacking y miembros de la comunidad hacker. Hoy le ha tocado el turno a Manuel S. Lemos, que es emprendedor, pentester, hacker y colaborador del proyecto OWASP Top 10 de LLMs Apps & Services. Yo ya le hice también hace no mucho una entrevista a Manuel S. Lemos.


La entrevista en vídeo dura un poco menos de media hora y os la he subido junto al resto de todas las que ha hecho en la serie a a mi canal de Youtube para que la podáis disfrutar en cuanto tengáis un ratito libre,  para que podñais conocer un poquito más de primera mano a Manuel S. Lemos.

Como es habitual en esta sesión de "De Hacker a Hacker", en la charla, hablan de muchas cosas que tienen que ver también con formarse, con el impacto de la la seguridad en la vida de las personas, en cómo ayudar a los demás, de aprendizaje, de IA, de buscar bugs, de OWASP, etcétera.

Figura 3: De Hacker a Hacker: Pablo González vs Manuel S. Lemos

A los dos, además, los tenéis a vuestra disposición a tiro de mensaje de MyPublicInbox, donde cuentan con sus buzones por si quieres consultarles algo o contactarles para proponerles alguna colaboración, que son tipos muy dispuestos, como podéis ver.
Si te apetece, puedes ver todas las sesiones que hemos tenido hasta el momento en la lista de reproducción de "De Hacker a Hacker" que mantengo actualizada en mi canal, para que puedas ver todas las entrevistas y conocer cómo cada uno ha hecho y hace este camino en el mundo de la tecnología.

Publica tu libro con 0xWord

Por último, un recordatorio de que en MyPublicInbox se ha articulado un servicio de colaboración con todos los Perfiles Públicos de la plataforma para establecer una nueva vía de colaboración que permita que si tienen una idea de publicación de un libro, puedas hacerlo con 0xWord. De esta forma todos los Perfiles Públicos de MyPublicInbox pueden ir a la zona su perfil, y entre la lista de Servicios para Ti que ofrece esta plataforma, pueden solicitar información para publicar su libro con 0xWord.
Todos los usuarios de MyPublicInbox, si quieren ser Perfiles Públicos, pueden solicitarlo tal y como se explica en la web, y tendrán acceso a las dos decenas de servicios que ofrece actualmente esa plataforma, y entre otros este de publicación de libros.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  



sábado, julio 19, 2025

Una entrevista en Cylum Talks sobre Ciberseguridad & IA

Hoy sábado de Julio toca tener actividad al sol, deporte, y lo que se pueda, pero antes de comenzar el día os dejo por aquí mi post diario, con una entrevista que hice con la gente de Cylum Cybersecurity Talks para hablar un rato de cosas.... de cosas de Ciberseguridad, de Inteligencia Artificial y de Tecnología en general.
La entrevista dura cerca de una hora, y ya la tenéis subida a mi Canal de Youtube, donde sabéis que recopilo todas las charlas y entrevistas que puedo desde siempre. No está todo, pero está todo lo que he podido recuperar.

Figura 2: Una entrevista en Cylum Talks sobre Ciberseguridad & IA

Y nada más, que es fin de semana y hay muchas cosas por hacer, muchos cómics y libros por leer, y muchas piscinas en las que hay que mojarse - y si estás cerca del mar, pues aún mejor -. 

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


lunes, julio 14, 2025

Entrevista a Manuel S. Lemos: Hacking & Seguridad IA & OWASP GenAI Security Project

El mundo de la Inteligencia Artificial, y en concreto de la GenAI, ha traído un cambio brutal en el mundo empresarial, social y tecnológico. En concreto, los profesionales de Ciberseguridad hemos tenido que aprender nuevos conceptos, nuevas herramientas, nuevas metodologías de trabajo totalmente diferentes a cómo eran antes.
Un de los proyectos que más impacto están teniendo en este cambio dentro de nuestra profesión es el OWASP GenAI Security Project, que ha desarrollado la guía de OWASP Top 10 for LLM Applications, además de una visión 360º de la seguridad, con herramientas para Blue Team y para Red Team.
Uno de los profesionales que lleva años metido en este mundo, y que colabora como contribuidor de estos proyectos es Manuel Salvador Lemos Foncubierta, que además es CTO de Sincrolab, donde utilizan IA generativa para personalizar tratamientos neuropsicológicos, y está lanzando el proyecto de BeHumansX, una nueva startup enfocada en ayudar a organizaciones a integrar IA de forma segura, humana y responsable, con foco en Humanos Sintéticos y Ciberseguridad
Como estos temas son de total actualidad, y a mí me interesan muchísimo - ya lo sabéis si leéis este blog - le he hecho esta entrevista donde como veréis nos cuenta muchas cosas interesantes si te interesa este tema para hacer cosas. Aquí os la dejo, y si queréis contactar con él, ya sabéis que tiene su buzón en MyPublicInbox: Contactar con Manuel S. Lemos 

1.- Manuel, la primera pregunta es para los pentesters… ¿cómo utilizas tú la IA para hacer hacking?

En mi caso, más que usar la IA para hacer hacking, lo que hago es auditar sistemas que usan IA, que es otro mundo completamente distinto. Cuando una empresa mete un LLM en producción, suele asumir que es "inteligente" y, por tanto, "seguro". Pero no. Todo lo contrario.

Mi trabajo está en romper esa ilusión de seguridad, buscando cosas como prompt injection, data leakage por entrenamiento mal controlado, o fallos de diseño en arquitecturas tipo RAG o agentes autónomos. Me he encontrado con sistemas que, con una frase bien puesta, te devuelven información sensible, o modelos que puedes convencer para que se comporten de forma completamente opuesta a lo que esperan sus creadores.

Auditar IA no va solo de ver qué hace el modelo, sino de entender cómo y por qué responde lo que responde. Es un pentesting más lingüístico, más semántico, pero igual de peligroso.

2.- ¿Qué problemas de seguridad te has encontrado en servicios y aplicaciones diseñadas con GenAI o con LLMs?

El primero y más frecuente: subestimar el input del usuario. Muchos sistemas permiten que el usuario introduzca instrucciones dentro de una conversación sin hacer sanitization ni validación de contexto, y eso abre la puerta a todo tipo de ataques por prompt injection.

También he visto casos de fugas de información aprendida, sobre todo en modelos que seguían entrenando con inputs reales sin anonimizar. Hay sistemas conversacionales que, si los aprietas un poco, te sueltan nombres, correos o incluso respuestas que vienen de otros usuarios.

Otro clásico es usar un LLM como intermediario en una arquitectura, confiando en que “hará lo correcto”, cuando en realidad puede ser manipulado si no se le da suficiente contexto o si se usa mal el memory window.

3.- Con la llegada de los Agentic AI… ¿cuáles van a ser los principales problemas de seguridad que tú ves?

El problema no es que un agente autónomo tenga malas intenciones. Es que optimiza lo que le dices, no lo que querías decir. Si le dices que consiga usuarios, puede acabar scrapeando la web entera, haciendo spam o incluso aprovechando vulnerabilidades si eso le acerca al objetivo.

Además, los agentes tienen algo muy peligroso: persistencia y autonomía multistep. Pueden planificar, ejecutar y adaptarse, todo sin que tú intervengas. Si uno de estos falla o es manipulado, no es solo un fallo de lógica: puede convertirse en una amenaza activa dentro de tu infraestructura.

Y lo peor: muchos no tienen ni trazabilidad, ni control de permisos, ni aislamiento. Así que sí, los Agentic AI son una revolución… pero también un terreno muy delicado en seguridad.

4.- Llevas desde el principio haciendo Prompt Engineering… ¿cuáles son tus Prompts favoritos para hacer hacking o pentesting?

Me gusta usar prompts que cambian el rol del modelo, como:

“Eres un auditor experto en ciberseguridad ofensiva. Tu tarea es analizar este código o arquitectura en busca de fallos críticos.”

O este otro, para simular ataques:

“Simula que eres un atacante con acceso limitado a este sistema. ¿Qué pasos tomarías para escalar privilegios o extraer datos?”

También juego mucho con prompts encadenados que generan análisis, luego documentación técnica y finalmente recomendaciones automatizadas. Sirve para acelerar mucho las auditorías, sobre todo las iniciales.

5.- Con la eclosión de la IA, hemos visto de todo… ¿qué herramientas o plataformas son un “must” para ti ahora mismo?

Ahora mismo tengo varios “indispensables” que uso a diario, dependiendo del tipo de proyecto:
  • Ollama: para correr modelos en local con una facilidad brutal. Es perfecta para hacer pruebas rápidas sin depender de servicios externos ni exponer datos sensibles. Ideal cuando necesitas prototipar o trabajar offline con control total del entorno.
  • vLLM: si vas a escalar, es clave. Ofrece un rendimiento altísimo para servir modelos grandes, y su eficiencia en token throughput marca la diferencia. Me ha salvado en más de un despliegue cuando se busca latencia mínima y concurrencia real.
  • LangChain: sigue siendo el estándar para orquestar flujos conversacionales complejos. Lo uso sobre todo cuando necesito combinar memoria, herramientas externas, funciones y control de flujo entre agentes. Tiene mucho hype, pero sigue cumpliendo.
  • Flowise: para mí es el no-code backend de LangChain. Lo uso muchísimo para montar demos visuales o validar rápidamente pipelines RAG. Lo bueno es que puedes prototipar en minutos y luego convertirlo en algo serio.
  • N8N: imprescindible cuando necesitas automatización entre sistemas. Lo estoy usando cada vez más en integraciones entre LLMs y CRMs, dashboards, APIs internas… y ahora con los nodos de IA que tiene, es casi una navaja suiza.
  • LangWatch: esta herramienta debería ser obligatoria en cualquier entorno de producción. Te permite hacer observabilidad real de lo que hace un modelo: qué responde, por qué lo hizo, qué inputs llegaron, etcétera. Sin eso, estás a ciegas en producción.
  • CodeGPT: para desarrollo asistido con IA, sigue siendo mi copiloto de confianza. Me gusta porque es ligero, funciona bien en entornos locales, y puedes configurarlo según tu stack y estilo. Lo uso especialmente para generar tests y refactorizar.
Y por supuesto, el proyecto OWASP Top 10 for LLMs, que es obligatorio leer para cualquier técnico que trabaje con IA.

6.- ¿Estás ahora en algún proyecto personal relacionado con Inteligencia Artificial?

Sí, estoy con BeHumansX, una startup que acabo de lanzar centrada en integrar IA en organizaciones de forma ética y segura. Uno de nuestros enfoques es crear Humanos Sintéticos, asistentes conversacionales con identidad propia, personalizados, seguros y trazables. La otra línea es ciberseguridad aplicada a sistemas IA, desde auditorías hasta gobernanza.

También sigo en Sincrolab, donde usamos IA generativa para personalizar entrenamientos cognitivos en pacientes con TDAH, daño cerebral o Alzheimer. Es un reto porque ahí la IA no puede fallar: no estás optimizando clics, estás afectando vidas.

Y por último, hago consultorias y formación a startups para que consigan las mejores practicas a la hora de construir y monetizar un producto realizado con IA y que la organización se convierta en una “AI-First”

7.- Ahora estás colaborando en OWASP… ¿qué proyectos deberían seguir quienes se interesen por la IA y la ciberseguridad?

Lo principal es el OWASP Top 10 for LLM Applications, que recopila los principales riesgos de seguridad en entornos basados en modelos de lenguaje. Es una lectura imprescindible.
También recomiendo seguir de cerca iniciativas como el Prompt Injection Database o el naciente AI Exploits Framework, que están documentando casos reales de ataques y fallos en modelos de IA.

8.- ¿La IA nos va a llevar a un futuro mejor o al fin de la humanidad estilo Hollywood?

La IA es una tecnología amplificadora. Si se usa mal, puede acelerar desigualdades, vigilancia o manipulación masiva. Pero si se usa bien, puede democratizar el acceso al conocimiento, la salud y la creatividad.

El problema no es la IA, sino quién la entrena (o manda a entrenar), con qué datos y con qué objetivos. Si solo la dominan unos pocos, ya sabes cómo acaba la historia. Y por eso son tan fan de los modelos open.

9.- La Primera Guerra Mundial fue de gases y trincheras. La Segunda, de tanques y bombas. ¿Será la Tercera la de la IA?

Ya lo es. Pero es una guerra invisible. No hay trincheras, hay timelines. No hay bombas, hay deepfakes, campañas de desinformación, bots y manipulación algorítmica. Lo peligroso es que muchos ni siquiera saben que están en medio de ese conflicto.

10.- Para acabar con algo positivo… ¿tendremos un mundo más seguro o más inseguro con la IA?

A corto plazo, más inseguro. Toda tecnología nueva desestabiliza al principio. Pero si evolucionamos la defensa con la misma rapidez —o más— que la ofensiva, podemos llegar a un punto donde los sistemas sean más robustos, más resilientes y más éticos.

El reto es construir IA gobernada, trazable y explicable. Si lo conseguimos, será una de las mayores herramientas de seguridad (y en general) de nuestra era.

11.- ¿Cuál ha sido el fallo más inesperado que has encontrado en un sistema con IA?

Una plataforma de atención al cliente con un LLM fine-tuneado con conversaciones reales. El problema es que no se anonimizaron bien los datos y el modelo, bajo ciertas preguntas, acababa devolviendo fragmentos de otras conversaciones… con nombres, correos y hasta IBANs. Era como un data leak en diferido, pero generado. De lo más peligroso que he visto.

A muchas empresas les interesa subirse al carro de la IA, pero no saben por dónde empezar. Cuando te toca acompañar a equipos técnicos o directivos en ese proceso… ¿por dónde sueles empezar tú?

Lo primero es escuchar. No todas las empresas necesitan un chatbot ni un copiloto; muchas veces tienen problemas más estructurales: datos desordenados, procesos manuales o decisiones que se toman sin trazabilidad. La IA puede ayudar, pero no es magia.

Suelo empezar por detectar qué parte del proceso aporta más valor si se automatiza o potencia con IA. A veces es algo tan sencillo como clasificar tickets, otras es rediseñar cómo toman decisiones usando información en tiempo real.

Y algo importante: formar a los equipos desde el principio. No sirve de nada montar un modelo espectacular si nadie sabe usarlo o interpretarlo. Por eso trabajo mucho en acompañar tanto a perfiles técnicos como a negocio, para que entiendan lo que están usando, sus límites, y sobre todo, sus riesgos.

La clave no es implementar IA, sino hacerla sostenible y útil en el día a día.

PD: Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial 

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  


Entrada destacada

+300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial

Hace un mes comencé a recuperar en un post mi interés en los últimos años, donde he publicado muchos artículos en este blog , y he dejado mu...

Entradas populares