despuesdegoogle

robots.txt (3)

Cualquier omisión suele interpretarse por los buscadores como un permiso. Por ejemplo, si el archivo robots.txt está en blanco o si lo está la línea correspondiente a Disallow, los motores entienden que pueden acceder sin restricciones. Lo mismo en ausencia del archivo; si no lo colocas en tu directorio raíz, el efecto es equivalente a un permiso total, salvo que el servidor devuelva una página no estándar, distinta al error 404, con lo que existe el riesgo de que sea traducido como exclusión. No tener el archivo robots.txt implica que el log de errores de tu servidor se multiplicará.
Existen muchos motores de búsqueda o arañas pero sólo unos pocos tienen incidencia real sobre el posicionamiento. Por curiosidad, añado aquí una lista casi exhaustiva pero con más de 2 años de antigüedad, recuperada de Linuca y que enlaza a una dirección que ya no existe:

Existen validadores para robots.txt, de igual forma que para código XHTML o CSS. Si no quieres buscar en Google, prueba con Validators

Y como Google es el buscador por excelencia, aquí tienes una explicación en castellano de sus características, relacionadas con el rastreo de sitios y el archivo robots.txt

(Actualización a 14 de agosto de 2006:
Webmaster Libre presenta un generador en línea del archivo robots.txt y añade las direcciones de otros tres generadores:
http://www.mcanerin.com/EN/search-engine/robots-txt.asp
http://www.1-hit.com/all-in-one/tool-robots.txt-generator.htm
http://www.submitcorner.com/Tools/Robots/
Y cita tres direcciones en español que tratan el tema:
http://www.webtaller.com/google/guia_robots.php
http://www.contadorwap.com/robots.php
http://mundogeek.net/archivos/2005/05/04/robotstxt/)

Compártelo

Entradas relacionadas: