despuesdegoogle

robots.txt (2)

Cada prohibición debe reflejarse en una instrucción Disallow; por tanto habrá tantas líneas Disallow como páginas o directorios queramos proteger.
Así mismo debe crearse un nuevo lote por motor, de forma que se recojan las reglas específicas para cada uno de ellos separadamente:

User-Agent: Scooter
Disallow: /privado/
User-Agent: Googleboot
Disallow:

(Se diferencian las reglas aplicadas al motor Scooter de Altavista, que no podrá indexar el directorio privado, de las aplicadas al motor Googleboot de Google, que tendrá acceso ilimitado al sitio)
Pueden emplearse los asteriscos como comodín:

User-Agent: *

Las instrucciones que escribamos a continuación afectarán a todos los motores.
Si queremos prohibir completamente el acceso, no puede emplearse el asterisco comodín para el parámetro Disallow, sino la barra que identifica al sitio raíz; el código que impide al motor de altavista todo tipo de acceso quedaría así:

User-Agent: Scooter
Disallow: /

El siguiente archivo permitiría un acceso total a todos los motores de búsqueda:

User-Agent: *
Disallow:

Si queremos evitar que se rastreen los vínculos que en nuestra página apuntan a otras externas, recurrimos a (X)HTML y añadimos esta línea en la cabecera (con los signos de apertura y cierre que no pongo porque se me los come mi WP):

meta content="nofollow" name="Googlebot" (para Google)

Asimismo, para individualizar la prohibición, podemos usar el atributo rel=”nofollow” (un microformato de la web 2.0):

a xhref="http://www.unsitio.com/" mce_href="http://www.unsitio.com/" rel="nofollow"

Compártelo

Entradas relacionadas: