Multipath Reliable Connection (MRC): Un protocolo de red diseñado para los LLMs

Este fin de semana he estado leyendo sobre este nuevo protocolo de red creado especialmente para resolver el problema de la congestión del tráfico de red que se produce en los mega-datacenters utilizados para entrenar los nuevos LLM cuando se mueven datos de GPU a GPU en los centros de datos. En estos casos, estamos hablando de interconexión de datos entre clusters que pueden contener centenares de miles de GPUs, por lo que los protocolos que envían los datos por la red son críticos en la reducción del tiempo de entrenamiento, mediante una reducción de la latencia de envío de paquetes de red y, por consiguiente, reducción del consumo de energía. 

Figura 1: Multipath Reliable Connection (MRC).

Un protocolo de red diseñado para los LLMs

MRC está creado específicamente para resolver esos problemas, y ha sido publicado en el paper de Open Compute "Multipath Reliable Connection (MRC) Specification" donde equipos de OpenAI, Microsoft, NVIDIA, Broadcom y AMD han estado trabajando para definir el nuevo protocolo que ya han puesto en producción en los clusters de entrenamiento de OpenAI y Microsoft, incluidos centros de datos de entrenamiento de Oracle.

Figura 2: Multipath Reliable Connection (MRC)

El protocolo MRC se basa en RoCEv2 (RDMA over Converged Ethernet v2), es decir, que sigue aprovechando las capacidades de RDMA (Remote Direct Access Memory) para enviar tráfico por la red de computador a computador desde la memoria de uno hasta la memoria de otro sin pasar por la CPU utilizando RoCEv2, que está diseñado especialmente para las redes Ethernet.

Figura 3: La red es el punto de congestión de los mega-datacenters

Sin embargo, en entornos de alta congestión - como es el de entrenar un LLM de frontera en un datacenter con cientos de miles des GPUs pasándose datos - , es que la red necesita una arquitectura de capas (Tiers) para conectar switches, de tal manera que dependiendo de la distancia física que exista entre las GPUs que se pasan los datos, hay que atravesar muchas capas de Switches de interconexión, y es ahí donde se produce la congestión. 

Figura 4: La propuesta de OCP es MRC con Packet Spraying

Para resolver esto, la solución es ampliar el número de capas, ampliando la latencia, para que existan más rutas posibles, lo que tampoco es una solución perfecta. Lo que propone MRC es utilizar Packet Spraying, es decir, dividir los datos que se van a enviar en pequeños paquetes de red que utilizarán, cada uno de ellos, una ruta diferente dentro de las rutas posibles.

Figura 5: Arquitectura en Tiers de Switches

Para eso es necesario conocer el estado de calidad de la red, los puertos disponibles, y poder crear una ruta para cada paquete de la red. Esto se hace con un protocolo llamado  SRv6 (Segment Routing over IPv6) que se encarga de crear la ruta para cada paquete dentro de la estructura de Tiers de los Switches de interconexión. 

Figura 6: Control de Congestión con QPCP

La especificación completa, donde se definen los estados de los protocolos de control de la congestión y calidad de la red en cada momento QP Congestion Protocol (QPCP) están todos correctamente descritos en la especificación, ya que se trata de un protocolo abierto, y tienes el paper académico de Resilient AI Supercomputer Networking using MRC and SRv6 con las pruebas realizadas publicado.

Figura 7: Resilient AI Supercomputer Networking using MRC and SRv6

Este es un ejemplo de cómo la necesidad de innovar con Inteligencia Artificial está impulsando la innovación en otras áreas adyacentes de forma masiva, como es la gestión de la energía, los protocolos de red o la gestión de grandes volúmenes de datos. 

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Descarga el libro gratuito de "Seguridad en Redes"

Se acaba de publicar este nuevo libro gratuito denominado “Seguridad en Redes”. Esta obra presenta un enfoque eminentemente técnico de la experiencia de varios años de trabajo en grandes redes en las áreas de “Planificación y Operación de red”, “Seguridad de redes y TI” y “Auditoría de seguridad”, que podríamos afirmar, son los pilares fundamentales de toda red. Los prólogos de este libro están escritos por Chema Alonso y Antonio Castro Lechtaler, que como todos conocemos, son dos referentes internacionales en Redes y Seguridad.

Figura 1: Descarga el libro gratuito de "Seguridad en Redes"

El autor soy yo, Alejandro Corletti Estrada, que después de la publicación del libro “Seguridad por Niveles” en el año 2011  que alcanzó las 100.000 descargas, nuevamente me animé a crear esta obra para difusión y descarga gratuita para cualquier uso docente, quedando prohibida toda acción y/o actividad comercial o lucrativa, como así también su derivación y/o modificación sin autorización expresa del autor. Aquí tienes el prólogo que Chema Alonso escribió para este libro.

Ser un hacker y no un profesional 

Quiere el destino que escriba este prólogo solo un par de días después de que tuviera lugar el, hasta ahora, ataque de denegación de servicio distribuida más grande que se recuerda. Con una potencia de hasta 1.2 Terabits por segundo la botnet Mirai ha conseguido marcar el record en tráfico generado para hacer un ataque contra un objetivo concreto.

Corremos tiempos beligerantes en las redes de comunicaciones en los que los cibercriminales han encontrado en ellas un medio para perpetrar sus ataques con cierta percepción de impunidad al ocultarse en la distancia de países remotos con leyes no adaptadas que dejan que se escapen como polvo en los dedos.

Proteger este activo tan preciado que la tecnología nos ha dado es responsabilidad de todos. Desde el dueño de una impresora en su casa hasta el administrador de una pequeña red de equipos en una empresa pasando, lógico está, por los grandes proveedores de servicios en Internet. Cada fallo de seguridad en esta vasta y creciente red de redes puede ser utilizado por un adversario para conseguir una ventaja en un ataque y así, como hemos visto en el ataque que citaba al principio, la botnet Mirai se ha aprovechado de dispositivos como impresoras, routers, switches o cámaras de vigilancia mal configuradas, con bugs conocidos o contraseñas por defecto, para conseguir un número tal de equipos infectados que una empresa como DYN, que da soporte a una parte importante de los servicios DNS de Internet, no pueda contenerla.

Conocer nuestras redes, los rincones más pequeños y escorados de las mismas, para evitar que el eslabón más débil de esta cadena sea un dispositivo que forma parte del Shadow IT o el Shadow IoT de nuestra organización es fundamental. Pero más lo es conocer cómo funcionan y mantener la seguridad del mismo a lo largo del tiempo.

Decía la definición que hace el Internet Engineering Task Force en su RFC 1983 titulado Internet User’ Glossary que un Hacker es:

A person who delights in having an intimate understanding of the internal workings of a system, computers and computer networks in particular. The term is often misused in a pejorative context, where "cracker" would be the correct term. 

Y es así lo que necesitamos todos que seas en tu red. Un auténtico hacker que tenga un conocimiento íntimo de cómo funciona tu red. Cuáles son los protocolos que están circulando por ellas, cómo están configurados, cómo se pueden mejorar y cuáles son los rastros que deben levantar una alerta en tus mecanismos de detección para saber que algo está pasando por ellas que no debiera.

Debes conocer todo lo que puedas tu red de comunicaciones. Saber cómo siente, piensa y respira cada poro de ella. Cada router, cada switch, cada firewall, cada equipo que envía o recibe tráfico por el medio que sea, por el protocolo que sea, por la aplicación que sea. Es tu red y debes conocerla como si la hubieras construido tú, debes ser el hacker de tu red y aprender de ella día a día.

En mi vida profesional, ya más larga de lo que me gustaría para poder disfrutar más de los muchos momentos que me toquen por venir aún, me he topado con una gran cantidad de informáticos que realmente no adoraban esta profesión. Profesionales que lo eran porque trabajaban de esto, pero que por falta de pasión y dedicación a conocer lo que tenían entre manos no deberían tener ese título.

Los que de verdad amamos este trabajo no escatimamos esfuerzos en aprender más día a día de lo que tenemos entre manos, en conocer aquello que desconocemos, en disfrutar del trabajo que nos llevó a meternos en esta afición que se convirtió en profesión.

Llegados a este punto debes hacerte a ti mismo esta pregunta. Debes preguntarte qué tipo de profesional quieres ser. Uno de esos que lo es por la tarjeta y la posición laboral o uno de esos que aprende todo lo que puede porque es un hacker que adora la tecnología. Decide tú. Tú manejas tu tiempo, tu vida, tus esfuerzos y tu carrera profesional. Hoy, y ahora, es el momento de que aprendas un poco más para que mañana puedas aprender un poco más sobre lo ya aprendido. Sé un hacker y no un trabajador de la informática.

Aprende todo lo que puedas y haz que tu trabajo sea tu pasión y que tu pasión sea tu trabajo. Solo así podrás ocuparte correctamente de la seguridad de tus redes.

Chema Alonso

El objetivo de esta obra es poder compartir conocimientos para que el nivel de seguridad de nuestras arquitecturas de red pueda mejorarse. El libro comienza con una detallada descripción de la historia y evolución de las redes, como punto de partida y pilar básico para ir abordando las diferentes estrategias y procesos. El texto presenta al detalle los dispositivos que forman el verdadero corazón mundial de la red fija y móvil.

Figura 2: Arquitecturas de redes para mitigar ataques DDoS 

Poco a poco sigue abordando los niveles de Switching y Routing desde un enfoque práctico y con ejemplos vigentes en las diferentes configuraciones y el empleo de los protocolos de red. Uno de los aspectos que más destacan de la obra, es la experiencia que intento transmitir por medio del uso de herramientas, comandos y programas que no pueden ser dejados de lado en el día a día de la seguridad de estas infraestructuras.

Figura 3: WireShark para analizar tráfico de red

Trata con suficiente grado de detalle los aspectos de seguridad que deben reunir los CPDs o centrales dónde se aloja el equipamiento de red. Y, como no podía ser de otra forma, el autor otra vez nos propone una importante cantidad de ejemplos prácticos en el empleo de comandos y herramientas, que tal cual menciona Chema Alonso en su prólogo, son la forma en la que operará todo hacker sobre nuestras redes y sistemas. Por lo tanto desde el punto de vista de los responsables de las mismas, deben conocerlas, saber emplearlas y sacarles provecho, previamente a que lo haga un intruso. Por supuesto, si quieres conocer más de tu adversario debes conocer cuáles son los ataques que hacen en redes IPv4 &IPv6.

Figura 4:  Libro gratuito de Seguridad en Redes

Las versiones impresas de esta obra - estas sí son de pago - se distribuyen únicamente en España y se pueden solicitar a través de la cuenta  de correo info@darFe.es.  Si quieres descargar una copia, puedes hacerlo en esta URL "Libro Seguridad en Redes" y aquí lo tienes subido a SlideShare.

Autor: Alejandro Corletti Estrada
Doctor en Ingeniería y ex-jefe de redes del Ejército argentino

La NSA prefiere hackear routers y switches para espiar(te)

No sé ni cuantas veces he visto conferencias de hacking de routers, switches, cámaras de vídeo-vigilancia o impresoras.... y yo he llegado a jugar hasta con sensores de temperatura. Todas ellas tienen al final algunas conclusiones similares peros las más importantes quizá desde el punto de vista de seguridad son: 

1) Son sistemas operativos completos con muchas funcionalidades
2) Están dentro de tu red

Es cierto que el sistema operativo que funciona en una cámara de video-vigilancia o un switch de red no es un Controlador de Dominio de la red, pero en él se pueden ejecutar sniffers de red, servidores web, bases de datos, programas de hacking para hacer ataques de red en IPv4 & IPv6, etcétera, etcétera, etcétera.

En segundo lugar están dentro de la red de la organización, con lo que ofrecen el punto de apoyo que pedía Arquímedes para mover el mundo pero para capturar e interceptar todas las comunicaciones de red que se producen desde todos los sistemas informáticos que se encuentran allí.

Teniendo esto presente, según revela un artículo en el Washington Post, los espías de la NSA decidieron que la mejor forma de espiar el mundo era mediante el hackeo de los dispositivos de red de las empresas, para que desde allí tomar control del resto del sistema.

Figura 1: Artículo en Washington Post explicando el proyecto de Black Budget

Según un memorandum interno filtrado por Edward Snowden, el hacking de los dispositivos de red tiene muchas más ventajas que pueden ser aprovechadas para colarse dentro de una red:

- Desactualizados: Por desgracia es cierto que dentro de las empresas el plan de actualización de software no se toma tan en serio con los dispositivos de red como con los equipos informáticos, por lo que suelen encontrarse con vulnerabilidades conocidas. 

- Contraseñas por defecto: El número de dispositivos que se encuentran con contraseñas por defecto es altísimo. Esto se basa muchas veces en la creencia de que no hay conexión desde fuera, lo que permite tomar el control de ellos fácilmente. En el artículo de Explorando una DMZ desde un servidor Citrix se puede ver claramente. 

- Backdoors de fábrica: Aunque parezca raro, muchos de los fabricantes crean usuarios secretos dentro de los dispositivos con capacidades de administración. Ejemplos de ellos hay cientos, pero os dejo como ejemplo el backdoor de super usuario descubierto en el Proyecto Fin de Master de la UEM sobre la seguridad de cámaras de vídeo vigilancia.

Figura 2: Ejemplo de Backdoor en Vídeo Cámara TelnetVid

- Faltos de auditoría de seguridad real de fábrica: Mientras que a los productos de software se les suelen hacer auditorías de seguridad robusta, a los sistemas que se implantan en los dispositivos de red de gama baja no suelen hacerse tan exhaustivas. Caso de ejemplo, la aparición de 0days como el que se publicó en el libro Hacker Épico en las cámaras de vídeo vigilancia que permite sacar las passwords remotamente. 

- Falta de fortificación del dispositivo: Así como en el software de escritorio existen políticas corporativas que marcan cómo debe instalarse un equipo en la red, en el caso de los dispositivos no se hace de forma tan estricta por lo que es fácil que aparezcan con IPv6 instalado y sin configurar, con portales web desprotegidos o con servicios SNMPv1 o SNMPv2 sin ninguna seguridad. 

- Sin software de seguridad: Mientras que los equipos de escritorio cuentan con soluciones antimalware para la protección de ataques o exploits - al menos algo hacen - en el resto de dispositivos de red nunca se ha pensado en poner ese tipo de medidas de forma extendida. Esto hace que sea más fácil usar cualquier herramienta e instalar cualquier software. 

- Sin monitorización: Muy pocas son las empresas que tienen una monitorización completa de todo lo que está pasando en todos los dispositivos conectados a la red de la organización. Es cierto que routers o switches de gama alta en empresas medianas y grandes son monitorizados, pero no suele monitorizarse la totalidad de los dispositivos que se conectan, entre otras cosas porque muchos de los equipos carecen de esas funcionalidades.

Todo esto fue tenido en cuenta por la NSA, y desde el año 2011 han estado hackeando y controlando todos los dispositivos que han podido, manejando equipos en redes de todo el mundo, especialmente en China, Rusia ... y países amigos.

Si estás gestionando una red, o llevando la política de seguridad de una organización, revisa todas estas cosas, ya que además muchos de estos dispositivos salen haciendo un poco de hacking con buscadores en sitios como Shodan, lo que te hace estar más expuesto aún.

Saludos Malignos!

Explorando la DMZ de una red (1 de 3)

**************************************************************************************************

- Explorando la DMZ de una red (1 de 3)

- Explorando la DMZ de una red (2 de 3)

- Explorando la DMZ de una red (3 de 3)

**************************************************************************************************

Aprovechando que en este tiempo atrás he podido estar en algún país en los que la legislación era mucho más laxa con las intrusiones en redes, y teniendo en cuenta que no iba a cometer ningún delito bajo la legislación vigente de ellos, decidí darme un paseo por la DMZ de una empresa para ver qué medidas de seguridad tenían en la red interna, y en la DMZ.

Hay que tener presente que cuando se realiza una auditoría de seguridad a una aplicación web o a un servidor publicado en Internet, este puede llegar a ser comprometido, y por lo tanto todos los servidores de la DMZ pasan a convertirse en potenciales objetivos. 

Esta fortificación de la DMZ normalmente se suele evaluar por medio de auditorías de seguridad de red internas, en las que se evalúa cual es el grado de exposición y riesgo de cada uno de los servidores de la organización desde cada uno de los puntos de red de equipos de dentro de la organización, teniendo como base la premisa de que un usuario de la propia compañía pueda ser el atacante, o que un atacante controle remotamente esa máquina.

En este caso concreto, yo he querido hacerlo desde un equipo publicando una aplicación Citrix, en la que es posible hacer el jailbreak. Es decir, que permite llegar al sistema operativo con un usuario poco privilegiado. 

En este entorno, con una máquina en la red interna podría haber intentado meter algún software para sniffar la red y pillas passwords, intentar la elevación a system para controlar la máquina y acceder al Active Directory con la cuenta de la máquina o robar las passwords locales, pero como no quería ser brusco, me limité a buscar los servidores publicados sólo en la Intranet. Es decir, buscar qué había dentro de la red, y cuál era el nivel de protección allí.

Descubriendo el entorno

Para comenzar a descubrir los servidores internos bata con averiguar la dirección IP de nuestra máquina y la de los servidores utilizados como Gateway y DNS. Todos estaban en el mismo rango IPv4, por lo que a partir de ese punto, lo único que hice fue buscando a ver qué me encontraba en ellos, utilizando sólo los servicios web. Esto es lo que fui descubriendo.

192.168.X.1 El firewall de Sonic Wall

Como default gateway me encontré con un Firewall Sonic Wall, con una consolo en la que no se estaba haciendo uso de Http-s lo que es malo para la seguridad de la red. Sin embargo, mis expectativas de poder acceder por medio de una contraseña por defecto al firewall se esfumaron.

Figura 1: Portal de login en Sonic Wall

El firewall pide una contraseña durante el proceso de instalación, y las más comunes de los productos Sonic Wall no funcionaron. Así que, me quedé sin poder ver la política de seguridad perimetral. Mala suerte, aunque le apuntamos un negativo por tener la consola por Http.

192.168.X. 2 El Switch de Dell

En el segundo intento topé con la dirección IP de administración del switch, en este caso de Dell, y también sin uso de Http-s para evitar el sniffing de la contraseña. Tras el fracaso anterior mis expectativas de que tuvieran la contraseña por defecto no eran muy altas....

Figura 2: Portal de login en Switch Dell

... pero resultó que sí, y llegamos al panel de administración del switch.

Figura 3: Panel de administración de Switch DELL

Una vez allí, además de descubrir información de la organización, se me ocurrió que podía mirar la dirección MAC de mi equipo - es decir, del servidor Citrix - y configurar el puerto del switch en el que está conectado como puerto mirror. De esta forma me garantizaría que me llegaría todo el tráfico de red y podría sniffar la password del firewall... pero preferí no hacer ningún cambio, que no queremos hacer nada malo.

192.168.X.4 Under Construction

En la dirección IPv4 de la red me topé con un servidor web por Http, pero fui incapaz de descubrir el nombre de los dominios publicados o los archivos a invocar.

Figura 4: El sitio web "under construction"

Probé por Http-s, busqué en el fichero hosts, pregunté por los registros PTR a los servidores DNS, miré a ver si había un fichero robots.txt y miré el historial de navegación de los navegadores de mi equipo pero... agua. Supongo que la solución al misterio la tendría o en el firewall, en algún otro puerto, o en el nombre de un fichero que sólo conocen ellos. Eso, o de verdad está en construcción. En cualquier caso no pensaba dedicarle más tiempo con todo el rango de direcciones que aún tengo por delante.

192.168.X.10 El software de Citrix

En esta dirección me encontré con un servidor web que estaba publicando el software de Citrix, para poder ser utilizado internamente en la distribución del mismo en nuevas instalaciones, supongo.

Figura 5: Compartiendo el software vía http

Algo no muy descabellado, si pensamos en lo útiles que son, y lo que se encuentra, en los servicios de compartición de ficheros basados en Http.

En las 10 primeras posiciones han aparecido algunos servidores web, pero aún quedan muchos por salir en este segmento. Ya os hablaré de ellos en el resto del artículo. 

Saludos Malignos!

**************************************************************************************************

- Explorando la DMZ de una red (1 de 3)

- Explorando la DMZ de una red (2 de 3)

- Explorando la DMZ de una red (3 de 3)

**************************************************************************************************

Gira Summer of Security en Vídeo

Durante el mes de Junio y Julio la Gira Summer of Security visitó cuatro ciudades: Bilbao, Vigo, Barcelona y Valencia. En la ciudad de Leioa, cerca de Bilbao, la gente de la EHU tuvo a bien grabar la sesión en video. ¡Gracias! Aquí os dejo las dispositivas y los videos de la sesión grabados.

[SOS 2009] D-Link: Red Segura L2 L3

View more documents from chemai64.

[SOS 2009] Smart Access: Tu DNIe en tu AD

View more presentations from chemai64.

[SOS 2009] Microsoft Technet: TMG Preview Técnico

View more presentations from chemai64.

[SOS 2009] Quest Software: Integracion Unix/Linux/Mac en el AD

View more presentations from chemai64.

[SOS 2009] Informatica64: Hay una carta para ti

View more presentations from chemai64.

Saludos Malignos!