tag:blogger.com,1999:blog-21555208.post6024280075391840842..comments2024-03-21T18:48:30.830+01:00Comments on Un informático en el lado del mal: Cómo eliminar la indexación de Robots.txt en Google y Bing para eludir a los dorksChema Alonsohttp://www.blogger.com/profile/16328042715087424781noreply@blogger.comBlogger6125tag:blogger.com,1999:blog-21555208.post-44830528520193545722018-10-12T23:13:30.081+02:002018-10-12T23:13:30.081+02:00Http://www.izito.comHttp://www.izito.comAnonymoushttps://www.blogger.com/profile/10304816618807808014noreply@blogger.comtag:blogger.com,1999:blog-21555208.post-87212343584687125162015-02-10T13:37:43.861+01:002015-02-10T13:37:43.861+01:00Gracias;
Para comprobarlo he hecho el proceso inv...Gracias;<br /><br />Para comprobarlo he hecho el proceso inverso. He cogido 2 webs que no tenian indexado el archivo robots.txt<br /><br />1.- A una le he puesto el x-tag que comentas y a la otra no.<br /><br />2.- En Google webmaster tools he forzado la idexación de los dos archivos robots.txt<br /><br />3.- El resultado ha sido que google ha indexado el archivo robots.txt del dominio que no tenía la etiqueta x-tag y no ha indexado el que si lo tenia.<br /><br />SaludosAlberto Romerohttps://www.blogger.com/profile/00398395474686798614noreply@blogger.comtag:blogger.com,1999:blog-21555208.post-50765609503594823602015-02-10T11:09:25.170+01:002015-02-10T11:09:25.170+01:00@Javier Lorente, no, te equivocas. Indica que no s...@Javier Lorente, no, te equivocas. Indica que no se indexe el contenido, por eso pone en los resultados "No se puede mostrar el contenido". <br /><br />Lo que no evita es que se indexe la URL y el título y lo encuentra por otro sitios<br /><br />Saludos!Chema Alonsohttps://www.blogger.com/profile/16328042715087424781noreply@blogger.comtag:blogger.com,1999:blog-21555208.post-65316266537462076052015-02-10T07:54:22.483+01:002015-02-10T07:54:22.483+01:00Luego ya fozando por webs institucionales acabas p...Luego ya fozando por webs institucionales acabas por encontrar perlas como presidente.gal/robots.txt<br /><br />Portal de transparencia de un presidente autonómico totalmente opaco cara a buscadores... Sera cuestión de privacidad también? ps...Seoane Pradohttps://www.blogger.com/profile/15960770581648709553noreply@blogger.comtag:blogger.com,1999:blog-21555208.post-67008128604075743902015-02-10T07:24:28.505+01:002015-02-10T07:24:28.505+01:00Eso sí, si lo haces buscando en Google con el user...Eso sí, si lo haces buscando en Google con el user agent de GoogleBot ;-))CyberseQritynoreply@blogger.comtag:blogger.com,1999:blog-21555208.post-89592030582966126642015-02-10T07:21:18.890+01:002015-02-10T07:21:18.890+01:00Chema, si en Google buscas la cadena 'site:&qu...Chema, si en Google buscas la cadena 'site:"elevenpaths.com" "robots.txt"', en la enumeración de URLs sí está en 2a posición dicho robots :-D<br />Saludos.CyberseQritynoreply@blogger.com