El archivo robots.txt (con el que se indica a los motores de búsqueda cuáles directorios son accesibles o indexables y cuales no) de la web gubernamental en la era Bush tenía más de 2.400 líneas (http://www.codeulate.com/misc/old-robots.txt)
El nuevo archivo robots.txt de la web en la recién inaugurada era Obama tiene 2 líneas:
User-agent: *
Disallow: /includes/
Lo que equivale a proteger un solo directorio a la mirada de los buscadores.
No sé si los paranoicos de la seguridad encontrarán demasiado temeraria tanta permisividad. O si los profesionales SEO pondrán pegas del tipo: “así pueden generarse duplicaciones que afecten negativamente el posicionamiento de la web” 
Vía Kottke
jajajajajajaajajaj
muy bueno
y yo que pensaba que era un peligro uno como el mio y veo que se puede tener mucho más morro
vseo
21 ene 09 at 15:11
No es necesario bloquear mil directorios, si la estructura de tu sitio es buena, te sirve con cargarte la raiz por espresion regular
vseo
21 ene 09 at 15:13
Yo creo que como la mayoría de páginas antiguas no existen, pues han modificado el fichero robots.txt de un plumazo. Podemos ver que ya están añadiendo nuevas líneas.
Disallow: /search/
Disallow: /omb/search/
pablo
25 ene 09 at 10:39