Manual Técnico Carpeta environments

Documentación Técnica: robots.txt (Frontend)

Ubicación

environments/dev/frontend/web/robots.txt

Definición

Archivo de texto que controla el acceso de robots/crawlers web en el frontend del entorno de desarrollo.

Propósito

• Gestionar acceso de bots
• Controlar indexación
• Proteger recursos de desarrollo
• Establecer políticas de rastreo

Contenido

Apply to robots.txt

Explicación:

• User-agent: *: Aplica a todos los robots/crawlers
• Disallow: /: Bloquea el acceso a todo el sitio

Notas

• Específico para desarrollo
• Previene indexación no deseada
• Protege ambiente de desarrollo
• Estándar web robots.txt

Technical Documentation: robots.txt (Frontend)

Location

environments/dev/frontend/web/robots.txt

Definition

Text file that controls web robot/crawler access in the frontend development environment.

Purpose

• Manage bot access
• Control indexing
• Protect development resources
• Set crawling policies

Content

Apply to robots.txt

Explanation:

• User-agent: *: Applies to all robots/crawlers
• Disallow: /: Blocks access to entire site

Notes

• Development specific
• Prevents unwanted indexing
• Protects development environment
• Web robots.txt standard