Manual Técnico Carpeta environments
Documentación Técnica: robots.txt (Production Backend)
Ubicación
environments/prod/backend/web/robots.txt
Definición
Archivo de control de acceso para robots/crawlers web en el backend del entorno de producción de Yii2.
Propósito
- Controlar acceso de bots
- Gestionar indexación
- Proteger recursos backend -Establecer políticas de rastreo
Contenido
Apply to robots.txt
Explicación:
- User-agent: *: Define reglas para todos los robots/crawlers
- Configurable según necesidades de producción
- Controla acceso a secciones administrativas
- Gestiona visibilidad en buscadores
Notas
- Entorno de producción
- Crítico para SEO
- Seguridad backend
- Políticas de acceso
Technical Documentation: robots.txt (Production Backend)
Location
environments/prod/backend/web/robots.txt
Definition
Web robot/crawler access control file for backend in Yii2 production environment.
Purpose
- Control bot access
- Manage indexing
- Protect backend resources
- Set crawling policies
Content
Apply to robots.txt
Explanation:
- User-agent: *: Defines rules for all robots/crawlers
- Configurable based on production needs
- Controls access to administrative sections
- Manages search engine visibility
Notes
- Production environment
- Critical for SEO
- Backend security
- Access policies