Question 1

Que es robots.txt?

Accepted Answer

El archivo robots.txt es un archivo de texto que se coloca en la raiz de tu sitio web para indicar a los rastreadores (bots) que paginas pueden o no rastrear.

Question 2

Es necesario tener un robots.txt?

Accepted Answer

No es obligatorio, pero es recomendado. Si no existe, los bots rastrearan todo. Un robots.txt bien configurado mejora la eficiencia del rastreo.

Question 3

Puedo bloquear paginas de Google?

Accepted Answer

Usar robots.txt solo evita que los bots rastreen, no que indexen. Para evitar que una pagina aparezca en Google, usa noindex en la meta etiqueta o proteccion con contrasena.

Question 4

Donde coloco el archivo?

Accepted Answer

El archivo robots.txt debe estar en la raiz de tu sitio, accesible en: tudominio.com/robots.txt

Generador de robots.txt

Configuracion

Reglas de Rastreo

robots.txt