Skip to content
Documentación

Manual Técnico appServiserAdmin

Documentación para el Archivo robots.txt en la Carpeta appServiserAdmin/web

Español

Propósito

El archivo robots.txt es un archivo de texto utilizado por los sitios web para comunicarse con los motores de búsqueda y otros rastreadores web. Su propósito es indicar a estos rastreadores qué partes del sitio deben ser indexadas y cuáles deben ser ignoradas.

Para qué sirve

  • Control de Indexación: Permite a los administradores del sitio especificar qué páginas o secciones del sitio no deben ser rastreadas ni indexadas por los motores de búsqueda.
  • Optimización de SEO: Ayuda a evitar que contenido duplicado o irrelevante sea indexado, lo que puede mejorar la clasificación del sitio en los resultados de búsqueda.
  • Protección de Privacidad: Puede usarse para proteger información sensible o áreas del sitio que no están destinadas al público.

Funcionamiento

  • Ubicación: El archivo robots.txt debe colocarse en el directorio raíz del sitio web para que los rastreadores puedan encontrarlo fácilmente (por ejemplo, https://www.ejemplo.com/robots.txt).

  • Sintaxis: El archivo utiliza una sintaxis específica para definir reglas. Por Ejemplo: Esto indica que todos los rastreadores (User-agent: *) no deben acceder a la carpeta /privado/.

  • Interpretación por los Rastreadores: Cuando un rastreador visita un sitio, primero busca el archivo robots.txt y sigue las instrucciones especificadas antes de proceder a rastrear el contenido del sitio.

English

Documentation for the File robots.txt

Purpose

The robots.txt file is a text file used by websites to communicate with search engines and other web crawlers. Its purpose is to indicate to these crawlers which parts of the site should be indexed and which should be ignored.

What it serves

  • Indexing Control: Allows site administrators to specify which pages or sections of the site should not be crawled or indexed by search engines.
  • SEO Optimization: Helps prevent duplicate or irrelevant content from being indexed, which can improve the site’s ranking in search results.
  • Privacy Protection: Can be used to protect sensitive information or areas of the site that are not intended for public access.

Functioning

  • Location: The robots.txt file must be placed in the root directory of the website so that crawlers can easily find it (e.g., https://www.example.com/robots.txt).
  • Syntax: The file uses a specific syntax to define rules. For example: This indicates that all crawlers (User-agent: *) should not access the /private/ folder.
  • Crawler Interpretation: When a crawler visits a site, it first looks for the robots.txt file and follows the specified instructions before proceeding to crawl the site’s content.