Manual Técnico Carpeta environments

Documentación Técnica: robots.txt

Ubicación

environments/dev/backend/web/robots.txt

Definición

Archivo de control de acceso para robots/crawlers web que indica las políticas de rastreo del sitio en ambiente de desarrollo.

Propósito

• Controlar el acceso de bots
• Proteger el entorno de desarrollo
• Evitar indexación no deseada

Contenido

Apply to robots.txt

Funcionalidad

• User-agent: *: Aplica a todos los robots
• Disallow: /: Bloquea el acceso a todo el sitio

Notas

• Específico para desarrollo
• Previene indexación en motores de búsqueda
• Protege recursos de desarrollo

Technical Documentation: robots.txt

Location

environments/dev/backend/web/robots.txt

Definition

Web robot access control file that specifies crawling policies for the development environment.

Purpose

Control bot access

• Protect development environment
• Prevent unwanted indexing

Content

Apply to robots.txt

Functionality

• User-agent: *: Applies to all robots
• Disallow: /: Blocks access to entire site

Notes

• Development environment specific
• Prevents search engine indexing
• Protects development resources