¿Qué son los robots.txt?

Publicado en: Posicionamiento Seo

Si te gusta puedes compartirlo aquí:

Los robots.txt son un archivo de texto que se encuentra en la raíz de un sitio web y que contiene instrucciones para los robots de los motores de búsqueda. Estas instrucciones indican a los robots qué páginas pueden y no pueden rastrear.

Los robots.txt se utilizan principalmente para evitar que los motores de búsqueda rastreen contenido que no se desea que aparezca en los resultados de búsqueda. Por ejemplo, un sitio web puede utilizar un archivo robots.txt para evitar que los motores de búsqueda rastreen archivos de imagen o vídeo que no son públicos.

 

Cómo funcionan los robots.txt

Los robots.txt se basan en el estándar de exclusión de robots, que es un protocolo que los motores de búsqueda utilizan para interpretar las instrucciones de los archivos robots.txt.

Las instrucciones de un archivo robots.txt se dividen en dos categorías principales:

  • Disallow: Esta instrucción indica a los robots que no rastreen una determinada URL o un conjunto de URLs.
  • Allow: Esta instrucción indica a los robots que rastreen una determinada URL o un conjunto de URLs.

Dónde encontrar un archivo robots.txt

Todos los sitios web tienen un archivo robots.txt, pero no todos están visibles para el público.

Puedes comprobar si tienes el archivo robots.txt en tu sitio web haciendo una búsqueda en www.elnombredetuweb.com/robots.txt

 

 

Elaboraciones y extensiones

  • Excepción de direcciones IP: Los archivos robots.txt también permiten excluir direcciones IP específicas del rastreo. Esto puede ser útil para sitios web que se encuentran en una red interna o que están alojados en un servidor compartido.
  • Uso de caracteres especiales: Los archivos robots.txt admiten el uso de caracteres especiales para crear reglas más complejas. Por ejemplo, se puede utilizar el asterisco (*) para hacer referencia a cualquier número de caracteres o la barra diagonal (/) para hacer referencia a cualquier carácter.
  • Estrategias de uso:Los archivos robots.txt pueden utilizarse para una variedad de propósitos, entre ellos:
    • Controlar el rastreo de contenido confidencial o privado.
    • Evitar que los motores de búsqueda rastreen contenido duplicado.
    • Mejorar el rendimiento del sitio web al reducir el número de solicitudes de los motores de búsqueda.

 

Probador de robots.txt

Puedes emplear la herramienta "Google Search Console" para verificar si estás restringiendo el acceso a ciertas páginas a través del archivo "robots.txt". Se sugiere hacer esto regularmente para garantizar que no estás bloqueando por error páginas cruciales de tu sitio web.

Es fundamental ser extremadamente cauteloso al manipular el archivo "robots.txt" porque, sin intención, podrías impedir que los motores de búsqueda indexen partes importantes de tu sitio web, lo que podría causar daños significativos.

 

Conclusiones

Los archivos robots.txt son una herramienta sencilla pero poderosa que puede utilizarse para mejorar el control de los propietarios de sitios web sobre cómo los motores de búsqueda rastrean sus sitios web.

¿Te ha gustado? Si quieres puedes compartirlo aquí:


Pide una demo ahora

Deja un comentario


( * ) Campos obligatorios

Sigue a Mabisy en Google + o Visíta nuestra página en Google+



Sobre el blog

Noticias, novedades, Actualidad y muchos trucos para hacer que tu tienda online sea un éxito.

Síguenos en...

 8.231