El archivo robots.txt es en lo primero que se detienen los bots o arañas de los buscadores cuando encuentran nuestro blog.
Su función es:
Indicar la estructura de nuestro sitio web.
Decir la ubicación de nuestro sitemap.xml (¿¿Recuerdas??).
Ceder o cortar el paso a determinados contenidos de nuestro blog.
Ejemplo de archivo robots.txt (el mío):
Basta con utilizar un editor de textos sencillo como el Blog de Notas y guardar como “robots.txt“.
La nomenclatura es bastante sencilla:
- User-agent: * >> Aplicable a todos los buscadores
- Disallow: /wp- >> Impide la indexación del contenido dentro de /wp-
- Disallow: /ir/ >> Impide la indexación del contenido dentro de /ir
- Allow: /wp-content/uploads/ >> Permite el acceso al contenido dentro de esta carpeta.
- Sitemap: https://negluf.com/sitemap_index.xml >> Indica al buscador la situación de nuestro sitemap.
Existen más funciones que de momento no me hacen falta. Cuando necesite más os sigo informando.
Creado el archivo robots.txt lo tenemos que subir al directorio raiz (no funciona en subdirectorios).
Comprobamos que funciona en Google Webmaster Tools y seguimos aprendiendo.
Deja un comentario