Saltar al contenido
Sinapmex

Sistema

Cómo está construido Sinapmex

Un motor pequeño, barato y honesto. Todo corre en el plan gratuito de Cloudflare; está diseñado para escalar sin reescribirse.

Componentes

sinapmex-motor

Worker con Cron Triggers: lunes 12:00 UTC (06:00 CDMX) corrida completa; 13:00 UTC diaria ligera (solo fuentes con frecuencia diaria). Ejecuta investigar().

sinapmex (sitio + API)

Astro 7 en Workers. Páginas estáticas, /estado/ y /fuentes/ renderizadas en servidor desde D1, y /api/* en JSON con CORS para BONA.

D1 · sinapmex-db

SQLite gestionado. Tablas fuentes, items, corridas, boletines_borrador, contactos. Migraciones versionadas en migrations/.

KV · sinapmex-kv

Candado de corrida (evita solapar cron y disparo manual), modelo de IA vigente, último boletín y límites de tasa del formulario.

Workers AI

Clasifica y resume con @cf/meta/llama-3.1-8b-instruct-fp8 (lista de modelos con reemplazo automático si uno se retira). Adaptador para Claude (claude-sonnet-5-5) listo; se activa con ANTHROPIC_API_KEY.

Observabilidad

Logs de Workers activos (observability.enabled) en ambos workers. Cada corrida guarda sus errores legibles; la página de estado los muestra.

Flujo de datos

Flujo del pipeline de SinapmexSeis pasos conectados en línea: fuentes, descarga, detección de novedad por hash, clasificación con IA y reglas, borrador de boletín y publicación del estado para BONA.FuentesRSS · HTML · JSON01Descargafetch + timeout 15 s02Novedadhash SHA-256 en D103ClasificaWorkers AI → reglas04BoletínMarkdown borrador05Estado/api/estado → BONA06
  1. Fuentes. Se leen de D1 las fuentes activa = 1 (en la corrida diaria solo las frecuencia = 'diaria'). Hasta 4 en paralelo.
  2. Descarga. fetch con AbortController a 15 s, User-Agent identificable (SinapmexBot). Parsers por tipo: RSS/Atom, HTML de gob.mx, HTML de SEDEMA, JSON de CKAN (Datos Abiertos), CSV de NASA FIRMS, y un extractor genérico de enlaces.
  3. Novedad. Hash SHA-256 de fuente|url|título|fecha. Lo que ya existe en items se descarta; así una corrida solo cuenta lo nuevo.
  4. Clasificación. Hasta 6 ítems nuevos por fuente pasan por IA (resumen ≤ 300 caracteres, relevancia 0-100, tema). El resto, y cualquier fallo de IA, usa reglas por palabras clave. Tres fallos seguidos desactivan la IA por el resto de la corrida. La corrida nunca falla por la IA.
  5. Boletín. Si hubo novedades, se genera un borrador Markdown (alertas ≥ 70 arriba, luego por tema) y se guarda en boletines_borrador.
  6. Registro. La corrida termina ok (sin errores), parcial (alguna fuente falló) o error (todas fallaron). /api/estado la expone de inmediato.

Qué es automático y qué revisa un humano

Automático

  • Lectura y descarga de fuentes.
  • Detección de novedades.
  • Clasificación, resumen y relevancia preliminar.
  • Borrador de boletín.
  • Registro de corridas, errores y estado público.

Humano (hoy, Omar)

  • Leer el borrador y decidir qué se publica en BONA.
  • Verificar cada alerta antes de difundirla.
  • Agregar, ajustar o desactivar fuentes.
  • Revisar los errores de la página de estado.
  • Decidir cuándo activar Claude (costo) o nuevas fases.

Límites actuales (MVP, noviembre 2026)

Cómo se agrega una fuente

  1. Probar la URL con curl -I y, mejor, con GET /api/diagnostico?url=… (requiere token) para verla desde el Worker.
  2. Insertar la fila en fuentes mediante una migración (migrations/000N_*.sql) con tipo, parser, tema, frecuencia, licencia y nota.
  3. Si el formato no encaja en los parsers existentes, agregar uno en src/lib/motor/fuentes/ y registrarlo en el switch de leerFuente().
  4. Aplicar la migración (pnpm db:migrar) y lanzar POST /api/correr.

Detalles técnicos completos en el README.md y el docs/ADR-001-arquitectura.md del repositorio.