¿Cuántas URLs se pueden extraer con Google Hacking?

Cuando se hace Hacking con Buscadores siempre se espera que los dorks funcionen sobre el 100 % de las URLs de un determinado dominio. Debido a esto, normalmente se utiliza Google como motor de hacking con buscadores por su potencia de indexación, ya que si lo comparamos con, por ejemplo Bing, el número de URLs de un dominio descubiertas suele ser mayor.

Por ejemplo, si miramos las URLs que tiene indexadas Bing del dominio Army.mil, podemos ver que no llega a las 700.000.

Figura 1: URLs del dominio army.mil indexadas por Bing

Por el contrario, si probamos la misma consulta con Google, como se puede, se obtienen más de 2.700.000 URLs indexadas y recolectadas por Google, lo que es casi 4 veces más URLs descubiertas e indexadas en el buscador.

Figura 2: URLs descubiertas por Google del dominio Army.mil

Sin embargo, no hay que dejarse llevar por los triunfalismos a la hora de hacer Google Hacking. De esas 2.700.000 URLs que Google ha indexado, no todas van a estar disponibles en su índice para consultas, ya que el buscador mete muchas en lo que se llama el Índice Suplementario.

Ese índice secundario es donde se ponen las URLs que el buscador ha descubierto, pero que, por ser un contenido repetido o de escaso valor, el motor decide apartar de la base de datos que pone disponible para las consultas al resto de los usuarios. Así que, de estas 2.700.000 URLs, solo una porción están disponibles en el buscador, y el resto están en lo que originalmente se llamó "la Deep Web", o lo que es lo mismo, lejos de los usuarios por haber sido apartadas del camino normal de los usuarios.

Para saber el número de URLs que realmente están disponibles para las búsquedas, hay que utilizar una consulta terminada con el operador &, de tal manera que solo saldrán aquellas que van a estar en el índice primario. En este caso concreto, mirando las URLs del mismo dominio vemos que hay un poco más de 1.000.000, lo que sigue siendo un poco más de las que tienes disponibles en Bing. 

Figura 3: URLs del dominio army.mil en el índice primario de Google

Además, este 1.000.000 no tiene porque contener completamente todas las URLs que ha descubierto Bing, y lo habitual es que sean conjuntos que intersecan pero no incluidos uno en el otro completamente. Esto se pudo ver en el ejemplo de la búsqueda de documentos en WhiteHouse.org que usamos en la presentación de FOCA 2.5 y es uno de los motivos por los que debes hacer Bing Hacking.

Figura 4: URLs de documentos descubiertos en WhiteHouse.org con distintos buscadores

En las búsquedas normales en Google - sin utilizar el parámetro & - por defecto los resultados están filtrados por otra serie de factores, ya que Google va a quitar aquellas páginas que considera que tienen un contenido poco apropiado, para lo que es absolutamente necesario hacer las búsquedas con el filtro SafeSearch desactivado. Esto se hace con el parámetro safe=off.

Y, en segundo lugar, hay que seleccionar que se muestren todas las URLs, independientemente de si Google ha considerado que para esa búsqueda concreta no aporta valor y son resultados duplicados. Esto se hace con el parámetro filter=0. Por defecto Google elimina cuando hay más de 2 URLs en el mismo directorio (Duplicate Directory Filter) y cuando hay más de dos resultados con el mismo título y descripción aunque sean distintas URLs (Duplicate Snippet Filter)

Figura 5: Información de Google sobre filtrado de URLs en los resultados

Como se puede ver, haciendo una búsqueda de todos los resultados disponibles - repetidos o no - y desactivando el filtrado de SafeSearch, y buscando solo en el índice primario con & como mucho se obtiene el total de resultados en el índice primario de Google, lo que será el máximo número de URLs a que podemos aspirar.

Claro está, si quieres conseguir ese millón de URLs disponibles en ese dominio tendrás que ingeniártelas para solventar el límite de 1.000 resultados por consulta que suponen los huge domain, tal y como hicimos en FOCA.

Saludos Malignos!

BiciMad, BonoPark, un pene erecto y denuncias por doquier

En la capital del mundo para los que de allí somos, la bella y linda ciudad que está centrada en la antaño región de Carpetani, se lanzó con notable éxito de afluencia el servicio BiciMad, una plataforma para poder alquilar vehículos no motorizados de dos ruedas y dos pedales, para con un manillar jugarse la vida lidiando entre autobús de la EMT, el motorista que toma la rotonda de Cibeles en "casco rojo" y coche buscando parking para no pagar zona verde, que va a precio de "sirlion del güeno".

En una semana de puesta en marcha ya tenía 4.000 usuarios registrados en el sistema y se habían pedido más de 6.000 servicios de alquiler. Todo iba de dulce y la alcaldesa pudo hacerse una foto de esas que gustan a los políticos.

Figura 1: La alcaldesa de Madrid en la presentación de BiciMad

Pero...como la gente no aprende, una vez más BiciMad, o mejor dicho, BonoPark, la empresa adjudicataria se había olvidado de hacer los deberes en temas de seguridad, y la cagó, cual Kobe Bryant, haciendo un triple desde el medio del campo:

1) Mal dimensionamiento del servicio: Al poco del lanzamiento entre faustos y algarabías, el servicio se cayó. No es que hubieran sufrido un ataque cibernético de DoS o DDoS, nada más lejos de la realidad. Simplemente el uso normal de los clientes en primera instancia llevó a la lona el servicio 

¿Cómo es posible que el servicio sufriera una denegación de servicio solo por la demanda de usuarios? Si esto ha sido así solo por el uso, hay que suponer que no tienen AntiDDoS ni nada similar, así que en el momento en que alguien le apunte una botnet o haga un ataque de amplificación, esto se va al suelo otra vez. 

Figura 2: Un kiosco de BiciMad sin servicio 

2) Sin auditoría de seguridad web: Clama al cielo ver que en la auditoría que le hicieron inicialmente, con cariño y sin necesidad de que la solicitaran, se pudiera ver que se habían dejado hasta las claves de los certificados publicadas.

Figura 3: Directory Listing en la web de BiciMad y ficheros de claves .pem

Con sus directory listing, con sus APIs sin proteger y con el volcado de todos los datos de la base de datos. Eso sí, como ellos dicen, nunca han sido hackeados.

3) Los kioscos interactivos, también si auditar: Ni sé ni cuantas veces he insistido en que cuando pones un Punto Interactivo, o un kiosco en los que los usuarios tienen acceso físico, la cosa puede acabar en drama. Ya he publicado múltiples ejemplos de estos fallos, pero en esta ocasión en BiciMad, la cosa llegó a las manos, o mejor dicho, a los penes, y acabó sufriendo el defacement de un pene que ha dado la vuelta al mundo.

Figura 4: El vídeo del pene de marras en el Totem de BiciMad 

Este ataque parece un homenaje al hacker que hizo algo parecido en la autopista de Moscú, poniendo un vídeo porno en un video-wall causando kilómetros y kilómetros de atascos, que sólo podrían haberse resuelto si los ciudadanos de Moscú pudieran disponer de un servicio de alquiler de bicicletas tipo BiciMoscú... oh, wait!

Dicho esto, ya los políticos aprovechan el caos que se está montando para cargar con el sistema de licitación, donde parece que la solvencia técnica ha sido lo menos valorado, y una vez más, la solvencia económica - o lo que es lo mismo, el que menos cobraba - se ha llevado el proyecto, dejando una pésima imagen de todo el proceso.

Figura 5: Bonopark denunciará a los atacantes de BiciMad

Eso sí, ahora han avisado que la empresa va a empezar a denunciar a todo el que hackee el sistema, según parece, por presiones del propio ayuntamiento. Espero que si se han llevado datos de los clientes, lo denuncien y los que tengan que velar por los datos robados de los ciudadanos tomen cartas en el asunto, que parece mentira que en el siglo XXI aún haya empresas que saquen cosas a Internet o la calle sin haber pasado una triste auditoría de seguridad externa.

Saludos Malignos!