despuesdegoogle

Si Google no puede leer tu robots.txt no indexa tu sitio

Search Engine Land informa de un curioso caso: el robot de Google admite como buena la situación de que cualquier sitio no disponga de un archivo robots.txt: no es condición obligatoria para que el sitio sea indexado periódicamente por Googlebot.

Pero si por alguna razón (caída del servidor, lentitud de acceso…), la petición no recibe respuesta y se agota el tiempo de espera, Google interpreta tal silencio como dato sospechoso y podría irse del sitio sin haberlo indexado.

¿Es aconsejable entonces eliminar tal archivo, a no ser que lo estemos usando para fines específicos?

Compártelo

Entradas relacionadas: