Aquí encontrarás un fichero robots.txt especialmente preparado para mejorar la seguridad de tu instalación de WordPress. Te será útil si no tienes ningún robots.txt o si quieres mejorar el que ya tienes.
Existen 2 razones por lo cual el fichero robots.txt es tan importante:
- Sirve para indicar la ubicación del fichero sitemap.xml que usa Google para obtener un listado de las páginas existentes en el sitio y que debe indexar.
- Evita que Google indexe por error ficheros con información privada y, que luego un atacante puede usar haciendo búsquedas en Google.
WordPress deja la tarea de realizar configuraciones más complejas a plugins como Yoast. Si no quieres usar plugins para ujna tarea tan simple puedes subir tú mismo un fichero robots.txt usando una cuenta FTP o el administrador de archivos de tu CPanel.
Dónde debo subir el robots.txt ?
Cuando subas tu fichero robots.txt tienes que hacerlo a la raíz del sitio —si tienes un cPanel súbelo en la carpeta public_html— y para probar que funciona visita esta dirección en el navegador:
http://example.org/robots.txt
Este es el resultado si todo está correcto:
Ejemplo robots.txt seguro para WordPress
Este robots fue diseñado para mejorar la seguridad de un WordPress y está basado en el proyecto WPHardening que es una herramienta para fortificar WordPress desde la consola de comandos.
Sitemap: http://example.org/sitemap.xml
User-Agent: *
Allow: /wp-content/uploads/
Allow: /feed/$
Disallow: /wp-
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /?s=
Disallow: /search
Disallow: /archives/
Disallow: /index.php
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/
# No indexar copias de seguridad
Disallow: /*.sql$
Disallow: /*.tgz$
Disallow: /*.gz$
Disallow: /*.tar$
Disallow: /*.svn$
# Reglas para bots conocidos
User-agent: Googlebot
User-agent: Googlebot-Image
Disallow: /wp-includes/
Allow: /wp-content/uploads/
User-agent: Mediapartners-Google*
Disallow:
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10
User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
La primera línea: Sitemap: http://example.org/sitemap.xml, sirve para establecer la URL que le corresponde al fichero sitemap.xml.
OJO si tienes campañas de Google activas
En ese caso debes eliminar estas lineas de código de tu archivo robots.txt para así garantizar al rastreador el correcto acceso a sus páginas.
User-agent: Mediapartners-Google* Disallow:
Este cambio permitirá que el rastreador indexe el contenido del sitio y le proporcione anuncios Google. Ten en cuenta que cualquier cambio que realices en el archivo robots.txt puede que no se refleje en el índice de Google hasta que los rastreadores intenten visitar tusitio de nuevo.
