A veces mientras desarrollas un proyecto o simplemente deseas que internet no encuentre tu web así que hoy veremos cómo disuadir a los motores de búsqueda en WordPress por código.
¿Porqué utilizar código?
Realmente en WordPress ya contamos con esa opción por defecto para disuadir motores de búsqueda en el menú de administración en la sección de Ajustes > Lectura pero por desgracia no es la mejor opción hacerlo por este método.
Esto se debe a que mediante ese botón el buscador entiende que no hay nada que mostrar y esto nos puede afectar negativamente en el futuro cuando si queremos que nuestro contenido sea indexado.
En cambio mediante el archivo robots.txt el motor de búsqueda entiende que hay contenido pero que de momento no queremos mostrarlo.
Evitar la indexación
Para ello solo tenemos que editar el archivo robots.txt (que debería estar en la raíz de nuestra web si existe) y dejar el siguiente contenido:
User-agent: *
Disallow: /En caso de que no existiera podemos crearlo nosotros mismos o utilizar algún plugin como Yoast SEO que nos lo haga de forma automática.
En la primera linea estamos diciendo que es una orden para los crawlers de todos los navegadores y en la segunda decimos que no se permita la indexación en ningun sitio de la web.
Comenzar la indexación
En el momento que decidamos empezar a indexarla solo tendremos que eliminar la barra inclinada de la segunda linea y quedaría de esta forma.
User-agent: *
Disallow: De esta forma no bloqueamos ninguna carpeta y los crawlers de los motores de búsqueda empezaran a acceder al sitio para que nos puedan encontrar en internet.
Recuerda que el archivo Robots.txt no son solo dos lineas como en el anterior ejemplo pero la idea es que entiendas como funciona. Te animo a investigar como configurar este archivo para sacarle el máximo partido.
Si te interesa el SEO quizás también te interese saber que es un sitemap, espero que te haya sido de utilidad y hayas aprendido cómo disuadir a los motores de búsqueda, nos vemos en otro artículo.
