Saltar al contenido principal

REQ-SEO-03/04 — llms.txt y robots.txt

· 4 min de lectura
Yovany Suárez Silva
Software Engineer - FullStack Developer

Cierra REQ-SEO-03 (archivo llms.txt) y REQ-SEO-04 (archivo robots.txt), ambos de prioridad Media, y completa la serie de visibilidad iniciada con REQ-SEO-01 (metadatos) y REQ-SEO-02 (sitemap).


📋 Alcance​

Criterio de aceptaciónEntregable
REQ-SEO-03 · Existe un llms.txtccf-almacen-web/public/llms.txt y ccf-almacen-wiki/static/llms.txt, versionados y generados/compilados
REQ-SEO-03 · Está disponible en el sitioSe sirven en /llms.txt sin autenticación (Next.js y Docusaurus)
REQ-SEO-04 · Existe un robots.txtYa existía en el panel; se añade el de la wiki
REQ-SEO-04 · Define las reglas de rastreoReglas explícitas por agente, con excepción acotada en el panel y apertura total en la wiki

🎯 La decisión de fondo: dos sitios, reglas opuestas​

El proyecto tenía una contradicción en su documentación: el robots.txt del panel prohibía todo (Disallow: /) y las metas declaraban noindex, porque es un sistema interno autenticado (decisión de TEC-018); pero REQ-SEO-03 pide un llms.txt, que sirve precisamente para invitar a los asistentes de IA.

Se resuelve separando las dos superficies:

SitioNaturalezaRegla
Panel (ccf-almacen-web)Interno y autenticadoProhibido rastrear, con una única excepción: /llms.txt
Wiki (ccf-almacen-wiki)Documentación públicaPermitido rastrear por completo, asistentes de IA incluidos

🧩 Qué cambió​

1. llms.txt nuevo (REQ-SEO-03)​

Dos archivos, porque hay dos sitios:

  • Panel: resumen público del sistema (qué hace, en términos de usuario) y enlaces a la documentación. No expone módulos, endpoints del API ni puertos: la prueba comprueba que no aparezcan.
  • Wiki: índice de la documentación pública con enlaces absolutos a manuales, seguridad, diagramas, desarrollo, requerimientos y notas de entrega.

2. robots.txt con reglas de verdad (REQ-SEO-04)​

AntesAhora
User-agent: * + Disallow: / y nada másRegla por defecto más reglas explícitas para 14 rastreadores de IA
Sin excepcionesAllow: /llms.txt: la única ruta pública del panel
Sitemap: http://192.168.0.201:3000/sitemap.xml — la IP privada del servidorSitemap: del sitio de documentación pública
La wiki no tenía robots.txtstatic/robots.txt: rastreo completo permitido y asistentes de IA enumerados

El panel deja de anunciar su propia dirección a los rastreadores: era una fuga de topología de red y no aportaba nada, porque un sistema interno no se indexa. Su public/sitemap.xml (REQ-SEO-02) se sigue generando y sirviendo igual.

3. Un solo generador​

scripts/generar-seo.js sustituye a scripts/generar-sitemap.js y produce los tres archivos públicos (sitemap.xml, robots.txt, llms.txt) desde dos hosts: el del panel (PUBLIC_BASE_URL, solo para el sitemap) y el de la documentación (PUBLIC_DOCS_URL, el que se anuncia). npm run sitemap:generar se mantiene como alias, así que el comando documentado en REQ-SEO-02 sigue funcionando.

🧪 Pruebas​

  • ccf-almacen-web/src/utils/seo-archivos.spec.ts — 9 casos: existencia, reglas de rastreo, ausencia de direcciones privadas, formato de llms.txt (título, resumen en cita, enlaces) y sincronía byte a byte con el generador.
  • ccf-almacen-web/e2e/seo-rastreo.spec.ts — disponibilidad real sin sesión (requiere el stack: API + PostgreSQL + web).
  • ccf-almacen-web/e2e/sitemap.spec.ts — sigue verificando la referencia Sitemap: de REQ-SEO-02.

📚 Documentación​

⏳ Pendiente​

  1. Confirmar la URL pública de la wiki. Los archivos anuncian https://desobsesor.github.io (de docusaurus.config.ts), pero el remoto es CDS-Maya/ccf-almacen-wiki: si la URL publicada es otra, se regenera con PUBLIC_DOCS_URL=<url-real> npm run seo:generar.
  2. El robots.txt de la wiki solo aplica en la raíz del dominio. Con baseUrl: '/' es correcto; si se publica bajo /wiki/, habría que servir uno en la raíz.