Sigue El lado del mal en Telegram
Chema Alonso en Threads
Chema Alonso en Mastodon
Chema Alonso en BSKY
Chema Alonso en Linkedin
DragonJAR
8.8 Chile
Ekoparty
e-Hack MX 
AREA 51 
Comunidad Dojo Panamá 
ARPAHE SOLUTIONS 
Inteligencia Artificial en las empresas: Tres formas de uso. Tres niveles de control del riesgo.
Cuando hablamos de Inteligencia Artificial en las organizaciones, lo habitual es asociarla con ChatGPT, Claude o cualquier otra herramienta a la que accedemos desde un navegador. Esta asociación está bastante extendida entre las empresas menos tecnológicas y, en muchos casos, responde al desconocimiento de cómo funciona realmente esta tecnología.
Figura 1: Inteligencia Artificial en las empresas.
La Inteligencia Artificial necesita, recursos de computación, almacenamiento y sistemas capaces de procesar información. La capacidad de estos modelos para realizar determinadas tareas mejor o peor que las personas es otra discusión que dejaremos para otro artículo. Lo interesante aquí es comprender cómo accedemos a esta tecnología, qué ocurre con nuestros datos y qué capacidad real tenemos para aplicar medidas de control que reduzcan los riesgos.
En muchas organizaciones he observado que la gestión de estos riesgos se apoya principalmente en políticas de uso, herramientas DLP e instrucciones incorporadas a los Prompts para limitar el comportamiento de la IA. No es la solución.
Estas medidas pueden ayudar, pero presentan limitaciones importantes.
Un Prompt no constituye una barrera de seguridad fiable: Y si has visto los muchísimos artículos sobre las técnicas de Jailbreak, los ataques de Prompt Injection, o el desalineamiento de Asistentes IA y servicios digitales, lo tendrías que tener más que claro.
Estas medidas pueden ayudar, pero presentan limitaciones importantes.
Un Prompt no constituye una barrera de seguridad fiable: Y si has visto los muchísimos artículos sobre las técnicas de Jailbreak, los ataques de Prompt Injection, o el desalineamiento de Asistentes IA y servicios digitales, lo tendrías que tener más que claro.
escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord
Los modelos pueden recibir instrucciones adversarias, interpretar incorrectamente las restricciones o generar comportamientos no previstos.
Es precisamente una de las cuestiones sobre las que Chema Alonso insiste habitualmente en sus investigaciones y charlas sobre seguridad en IA.
Para comprender mejor estas limitaciones, vamos a comparar tres formas de utilizar esta inteligencia artificial.
1. Acceso directo mediante navegador
Es el modelo más conocido. La organización contrata licencias de un servicio de Inteligencia Artificial y sus empleados acceden directamente desde el navegador. En realidad, estamos consumiendo un servicio de un proveedor externo, bajo determinadas condiciones contractuales, configuraciones de privacidad y mecanismos de seguridad que solo el propio proveedor impone. Cuando un empleado introduce información en el chat y pulsa enviar, esos datos llegan a la infraestructura del proveedor.
1. Acceso directo mediante navegador
Es el modelo más conocido. La organización contrata licencias de un servicio de Inteligencia Artificial y sus empleados acceden directamente desde el navegador. En realidad, estamos consumiendo un servicio de un proveedor externo, bajo determinadas condiciones contractuales, configuraciones de privacidad y mecanismos de seguridad que solo el propio proveedor impone. Cuando un empleado introduce información en el chat y pulsa enviar, esos datos llegan a la infraestructura del proveedor.
Figura 5: Flujo de información desde el usuario hasta
el proveedor de IA mediante navegador.
La organización puede establecer políticas de uso, aplicar controles DLP, restringir accesos y exigir garantías contractuales. Sin embargo, las funciones de protección más avanzadas suelen estar vinculadas a planes empresariales con costes adicionales, lo que puede dificultar su adopción por parte de pequeñas y medianas organizaciones.
Además, el comportamiento humano introduce una dificultad adicional. Un empleado puede compartir información confidencial, ignorar las instrucciones corporativas o utilizar herramientas de IA sin autorización, una práctica conocida como Shadow AI. Este fenómeno dificulta la aplicación de medidas de control y aumenta el riesgo de exposición de información fuera del perímetro organizativo. La exposición del dato puede producirse antes de que cualquier instrucción dirigida al modelo tenga oportunidad de intervenir.
2. Integración mediante API y backend corporativo
El segundo método permite introducir una diferencia importante. En este escenario, la organización desarrolla una aplicación con su propio front-end y backend. El empleado interactúa con esa aplicación y es el backend quien se comunica con el modelo del proveedor mediante una API. Esta arquitectura permite aplicar medidas técnicas antes de que la información salga de la organización.
Podemos clasificar los datos, eliminar información innecesaria, aplicar técnicas de pseudonimización, verificar permisos, limitar las operaciones autorizadas y registrar las solicitudes. También podemos revisar las respuestas del modelo antes de utilizarlas.
Además, el comportamiento humano introduce una dificultad adicional. Un empleado puede compartir información confidencial, ignorar las instrucciones corporativas o utilizar herramientas de IA sin autorización, una práctica conocida como Shadow AI. Este fenómeno dificulta la aplicación de medidas de control y aumenta el riesgo de exposición de información fuera del perímetro organizativo. La exposición del dato puede producirse antes de que cualquier instrucción dirigida al modelo tenga oportunidad de intervenir.
2. Integración mediante API y backend corporativo
El segundo método permite introducir una diferencia importante. En este escenario, la organización desarrolla una aplicación con su propio front-end y backend. El empleado interactúa con esa aplicación y es el backend quien se comunica con el modelo del proveedor mediante una API. Esta arquitectura permite aplicar medidas técnicas antes de que la información salga de la organización.
Podemos clasificar los datos, eliminar información innecesaria, aplicar técnicas de pseudonimización, verificar permisos, limitar las operaciones autorizadas y registrar las solicitudes. También podemos revisar las respuestas del modelo antes de utilizarlas.
Figura 6: Flujo de información mediante una aplicación corporativa,
backend y API de un proveedor externo de IA.
El proveedor continúa procesando la información que recibe, pero la organización puede controlar mejor qué envía y para qué finalidad. La diferencia está en incorporar controles técnicos directamente al flujo de información, reduciendo la dependencia de las decisiones individuales de cada empleado. El riesgo permanece, aunque una implementación correctamente diseñada puede reducir tanto la exposición como la probabilidad de determinados incidentes.
3. Despliegue de inteligencia artificial en infraestructura local
El tercer método consiste en ejecutar el modelo dentro de la propia infraestructura de la organización. Actualmente existen modelos de inteligencia artificial con capacidades avanzadas que pueden desplegarse en servidores internos, como gpt-oss-20B (OpenAI), Mistral Small 3.1 de 24B, Gemma 3 de 27B (Google), Qwen3 de 32B (Alibaba), LLaMA de 65B (Meta, primera generación), Llama 3.3 de 70B y gpt-oss-120B (OpenAI).
Estos modelos pueden ejecutarse utilizando recursos propios de CPU, GPU, memoria y almacenamiento, con requisitos técnicos que varían según su tamaño, arquitectura y nivel de cuantización. En esta arquitectura, el front-end, el backend, el modelo y los sistemas de almacenamiento pueden permanecer dentro del mismo perímetro organizativo. Estas arquitecturas son muy usadas por los expertos que usan IA para hacer Seguridad Ofensiva y Pentesting.
Esto permite controlar directamente el procesamiento, los accesos, los registros de actividad, la retención de información y las conexiones con otros sistemas. También ofrece la posibilidad de operar sin enviar los datos utilizados durante la inferencia a proveedores externos, siempre que las dependencias, la telemetría y las integraciones estén correctamente configuradas.
Figura 8: Flujo de información con un modelo de IA local dentro
del perímetro de la organización y sus dependencias externas.
La contrapartida es que la organización asume la responsabilidad de proteger y mantener toda esa infraestructura. Una mala configuración, un usuario con privilegios excesivos, un conector vulnerable o un modelo expuesto pueden generar incidentes igualmente graves.
La arquitectura es una medida de control
Los tres escenarios permiten utilizar inteligencia artificial, pero presentan diferencias importantes en la exposición de los datos, la dependencia de terceros y la capacidad de aplicar medidas de seguridad. Contratar licencias, integrar una API o desplegar un modelo local no determina automáticamente el nivel de seguridad de una organización.
La cuestión es comprender el recorrido de la información y establecer controles eficaces en cada punto de ese recorrido.Las políticas y las instrucciones pueden orientar el comportamiento de los usuarios y de los modelos. Las medidas técnicas permiten imponer restricciones verificables, aunque tampoco ofrecen garantías absolutas.
Al final, todo se reduce a entender por dónde circulan nuestros datos, quién los procesa y hasta dónde llega nuestra capacidad de control. Utilizar Inteligencia Artificial es relativamente sencillo; gestionar sus riesgos requiere conocer bien cómo funciona y cómo la hemos integrado en nuestra organización.
Figura 9: CDIE: Risk Extension and Traceable Uncertainty in Organizational Al Risk Assessment.
Y aprovechando que hablamos de riesgos y consecuencias, estoy desarrollando CDIE, una investigación exploratoria centrada en identificar y documentar las posibles consecuencias de las decisiones relacionadas con inteligencia artificial, especialmente cuando afectan a otras partes implicadas directa o indirectamente. Para quienes tengan curiosidad, la propuesta metodológica está publicada que puede consultarse aquí: CDIE: Risk Extension and Traceable Uncertainty in Organizational Al Risk Assessment.
Y aprovechando que hablamos de riesgos y consecuencias, estoy desarrollando CDIE, una investigación exploratoria centrada en identificar y documentar las posibles consecuencias de las decisiones relacionadas con inteligencia artificial, especialmente cuando afectan a otras partes implicadas directa o indirectamente. Para quienes tengan curiosidad, la propuesta metodológica está publicada que puede consultarse aquí: CDIE: Risk Extension and Traceable Uncertainty in Organizational Al Risk Assessment.
