Cuando nos creamos una página web o blog, lo hacemos con toda la ilusión de trabajar en un nuevo proyecto en el que invertir nuestro tiempo y disfrutar con, cosa que hacemos sabiendo que no es tarea fácil todo el trabajo que lleva aparejado, pero aun así no es imposible, solo hay que tener un poco de actitud y echarles unas cuantas horas, pero aun así hay pequeñas cosas que se nos escapan y que son importantes aclarar para que nuestro proyecto de página web o blog llegue a funcionar.
Algunos detalles son más importantes, como lo es por ejemplo contratar un hosting de calidad, y otros lo serán menos, como lo será elegir el tipo de letra que usaremos para escribir, pero sin duda, cuantos más controlemos y mejoremos mejor. Uno de los ficheros más importantes que debemos configurar correctamente nada más crear nuestra página web, y que es un gran desconocido para aquellos que se embancan en la aventura de ser creadores de contenido web, es sin duda el archivo o fichero llamado robots.txt.
Ya que, desde este fichero de nombre tan peculiar, podemos indicar parámetros muy importantes y necesarios, como por ejemplo a que partes de nuestra web pueden acceder las arañas o bots de Google y el resto de los buscadores, que partes del sitio son públicas y deben indexar, como los artículos que escribamos y sus imágenes, y cuales son privadas y no deben indexar, como pueden ser los datos de acceso nuestros y de nuestros usuarios guardados en dicha página web.
Sin embargo, no es lo único que podemos hacer con el archivo robots.txt, sino que otro de los parámetros más importantes que podemos indicar en dicho archivo, es donde está ubicado nuestro fichero sitemap.xml también llamado mapa del sitio, el cual deberemos tener creado anteriormente y deberéis actualizar con el paso del tiempo cada vez que publiquéis algo nuevo, ya que este es quien le indica a Google y el resto de buscadores la estructura de nuestra web y todos los artículos que tenemos escritos, de forma que este los indexe también, cuya ubicación será nuestro directorio raíz, que es donde también estará alojado el fichero robots.txt.
Así que como veis, es muy importante que a través de nuestro fichero robots.txt, indiquemos la dirección y el nombre de nuestro sitemap.xml, ya que así los buscadores podrán indexar más rápido y bien todos los artículos que vayamos escribiendo y publicando. Es por eso por lo que he decidido escribir este artículo, para mostraros de qué forma debéis indicar la posición de vuestro mapa del sitio o sitemap.xml en vuestro robots.txt.
Así que si queréis aprender a indicar en el archivo robots.txt y por tanto a los buscadores donde esta nuestro sitemap.xml, no dejéis de leer, pues os dejo las respuestas justo a continuación.
Cómo indicar a Google y el resto de los buscadores web la ubicación de nuestro sitemap.xml en robots.txt:
Pues tan solo deberéis poner la siguiente línea al final de vuestro archivo robots.txt:
Sitemap: https://www.elnombredetudominioweb.com/nombresitemap.xml
Por ejemplo el de esta misma página web es:
Sitemap: https://www.windowslinuxymac.com/sitemap.xml
En caso de que tengáis más de un sitemap, lo podéis indicar de la siguiente forma:
Sitemap: https://www.windowslinuxymac.com/sitemap.xml
Sitemap: https://www.windowslinuxymac.com/sitemap2.xml
Tras lo cual, guardaremos los cambios realizados en dicho fichero, aunque obviamente en vuestro caso, debéis cambiar el nombre de la página web por el de vuestra página web, y el del sitemap por el nombre que le hayáis dado a vuestro sitemap.xml, cuyo nombre yo os recomiendo que se llame igual que en mi web, que es nombre que debería tener siempre y como lo nombra todo el mundo, ya que al tener el nombre más estandarizado, otros buscadores lo encontraran mucho más fácilmente también, lo que sin duda nos beneficia.
Espero que esta explicación os haya servido de ayuda, como podéis ver indicar la localización de nuestro sitemap.xml en el archivo robots.txt es algo sorprendentemente sencillo, al igual que otras opciones interesantes, opciones que por si acaso necesitáis saber o simplemente necesitáis ayuda también para crear o mejorar vuestro archivo o fichero robots.txt, al final de este mismo artículo os dejare el enlace de un artículo, donde os explico con ejemplos como crear un buen robots.txt junto a cuáles son sus opciones y como aplicarlas correctamente.
En fin, espero que el artículo os haya servido de ayuda, a mi es algo que cuando empecé me costó mucho de encontrar y resulto ser una tontería, pero una tontería que de no estar bien indicada nos puede traer muchos dolores de cabeza, recordaros que siempre es importante conocer vuestra opinión, y que cualquier duda o pregunta no dudéis en comentarla, que contestare conforme la lea. Si os ha servido de ayuda y os ha gustado el artículo, compartirlo a través de un enlace en redes sociales o vuestra web o blog.
A continuación, os voy a dejar unos enlaces a otros artículos relacionados que creo que pueden ser de vuestro interés. Muchas gracias por vuestra visita y espero que volváis a visitarme muy pronto.
Cómo redireccionar un dominio web sin www a uno con www
Cómo hacer ping a Google, Yahoo o Bing de forma automática
Qué es y cómo crear un archivo robots.txt para una web o blog