REQ-SEO-03/04 — llms.txt y robots.txt
Cierra REQ-SEO-03 (archivo llms.txt) y REQ-SEO-04 (archivo
robots.txt), ambos de prioridad Media, y completa la serie de visibilidad
iniciada con REQ-SEO-01 (metadatos) y REQ-SEO-02 (sitemap).
📋 Alcance
| Criterio de aceptación | Entregable |
|---|---|
REQ-SEO-03 · Existe un llms.txt | ccf-almacen-web/public/llms.txt y ccf-almacen-wiki/static/llms.txt, versionados y generados/compilados |
| REQ-SEO-03 · Está disponible en el sitio | Se sirven en /llms.txt sin autenticación (Next.js y Docusaurus) |
REQ-SEO-04 · Existe un robots.txt | Ya existía en el panel; se añade el de la wiki |
| REQ-SEO-04 · Define las reglas de rastreo | Reglas explícitas por agente, con excepción acotada en el panel y apertura total en la wiki |
🎯 La decisión de fondo: dos sitios, reglas opuestas
El proyecto tenía una contradicción en su documentación: el robots.txt del
panel prohibía todo (Disallow: /) y las metas declaraban noindex, porque es
un sistema interno autenticado (decisión de TEC-018); pero REQ-SEO-03 pide un
llms.txt, que sirve precisamente para invitar a los asistentes de IA.
Se resuelve separando las dos superficies:
| Sitio | Naturaleza | Regla |
|---|---|---|
Panel (ccf-almacen-web) | Interno y autenticado | Prohibido rastrear, con una única excepción: /llms.txt |
Wiki (ccf-almacen-wiki) | Documentación pública | Permitido rastrear por completo, asistentes de IA incluidos |
🧩 Qué cambió
1. llms.txt nuevo (REQ-SEO-03)
Dos archivos, porque hay dos sitios:
- Panel: resumen público del sistema (qué hace, en términos de usuario) y enlaces a la documentación. No expone módulos, endpoints del API ni puertos: la prueba comprueba que no aparezcan.
- Wiki: índice de la documentación pública con enlaces absolutos a manuales, seguridad, diagramas, desarrollo, requerimientos y notas de entrega.
2. robots.txt con reglas de verdad (REQ-SEO-04)
| Antes | Ahora |
|---|---|
User-agent: * + Disallow: / y nada más | Regla por defecto más reglas explícitas para 14 rastreadores de IA |
| Sin excepciones | Allow: /llms.txt: la única ruta pública del panel |
Sitemap: http://192.168.0.201:3000/sitemap.xml — la IP privada del servidor | Sitemap: del sitio de documentación pública |
La wiki no tenía robots.txt | static/robots.txt: rastreo completo permitido y asistentes de IA enumerados |
El panel deja de anunciar su propia dirección a los rastreadores: era una fuga
de topología de red y no aportaba nada, porque un sistema interno no se indexa.
Su public/sitemap.xml (REQ-SEO-02) se sigue generando y sirviendo igual.
3. Un solo generador
scripts/generar-seo.js sustituye a scripts/generar-sitemap.js y produce los
tres archivos públicos (sitemap.xml, robots.txt, llms.txt) desde dos
hosts: el del panel (PUBLIC_BASE_URL, solo para el sitemap) y el de la
documentación (PUBLIC_DOCS_URL, el que se anuncia). npm run sitemap:generar
se mantiene como alias, así que el comando documentado en REQ-SEO-02 sigue
funcionando.
🧪 Pruebas
ccf-almacen-web/src/utils/seo-archivos.spec.ts— 9 casos: existencia, reglas de rastreo, ausencia de direcciones privadas, formato dellms.txt(título, resumen en cita, enlaces) y sincronía byte a byte con el generador.ccf-almacen-web/e2e/seo-rastreo.spec.ts— disponibilidad real sin sesión (requiere el stack: API + PostgreSQL + web).ccf-almacen-web/e2e/sitemap.spec.ts— sigue verificando la referenciaSitemap:de REQ-SEO-02.
📚 Documentación
- Archivo llms.txt (REQ-SEO-03)
- Archivo robots.txt (REQ-SEO-04)
- Archivo sitemap.xml (REQ-SEO-02) — actualizado
- Protección contra bots — actualizado
⏳ Pendiente
- Confirmar la URL pública de la wiki. Los archivos anuncian
https://desobsesor.github.io(dedocusaurus.config.ts), pero el remoto esCDS-Maya/ccf-almacen-wiki: si la URL publicada es otra, se regenera conPUBLIC_DOCS_URL=<url-real> npm run seo:generar. - El
robots.txtde la wiki solo aplica en la raíz del dominio. ConbaseUrl: '/'es correcto; si se publica bajo/wiki/, habría que servir uno en la raíz.
