User-agent: Niños
Disallow: /trucos
Allow: /tratos
La broma es de Google Blogoscoped
Archive for the ‘robots.txt’ tag
Robots.txt de Bush vs Robots.txt de Obama
El archivo robots.txt (con el que se indica a los motores de búsqueda cuáles directorios son accesibles o indexables y cuales no) de la web gubernamental en la era Bush tenía más de 2.400 líneas (http://www.codeulate.com/misc/old-robots.txt)
El nuevo archivo robots.txt de la web en la recién inaugurada era Obama tiene 2 líneas:
User-agent: *
Disallow: /includes/
Lo que equivale a proteger un solo directorio a la mirada de los buscadores.
No sé si los paranoicos de la seguridad encontrarán demasiado temeraria tanta permisividad. O si los profesionales SEO pondrán pegas del tipo: “así pueden generarse duplicaciones que afecten negativamente el posicionamiento de la web” 
Vía Kottke