~/daily/work 2026-09-26 · published 2026-11-21
Calibración del triage: 81.5 a 96.2
Un día dedicado a calibrar el modelo pequeño que enruta cada pregunta en un asistente de IA que construyo en el trabajo: precisión de ruta de 81.5 a 96.2 en dev, de 73.3 a 95.6 en holdout, con la latencia sin cambios.
- assistant
- routing
- calibration
- evals
- ~/project/versatile-sh
Qué hace el triage
El asistente responde preguntas sobre datos de negocio. Cada pregunta pasa primero por un clasificador pequeño y rápido con un timeout de 800 ms. Decide la ruta: una plantilla de reporte precalculada cuando alguna encaja, o el loop más lento del modelo con herramientas cuando ninguna lo hace.
Una ruta equivocada es cara en ambas direcciones. Una plantilla demasiado ansiosa da una respuesta equivocada con seguridad. Una demasiado cauta manda una pregunta simple al loop lento.
Hoy corrí el código de triage de producción, con el mismo cliente y timeout, contra dos conjuntos etiquetados: dev (130 preguntas) y holdout (45). La herramienta además reproduce offline un barrido de umbrales a partir de las respuestas crudas guardadas, así que ajustar no cuesta llamadas nuevas.
Qué fallaba
- El clasificador elegía la plantilla correcta con 0.98 o más, pero dudaba de la ruta (0.13 a 0.63) en pedidos con jerga y erratas que decían literalmente la palabra para reporte. Caían en el loop lento.
- Las preguntas fuera de alcance puntuaban 0.84 a 0.89 en la clase fuera de alcance y se colaban bajo el bloqueo de 0.9.
- Las comparaciones con el período anterior se marcaban como custom, aunque todas las plantillas ya se comparan contra él.
Cambié las instrucciones y los umbrales del clasificador frente a esos tres patrones. El barrido fue plano para el umbral de ruta entre 0.5 y 0.7 y para el umbral de plantilla entre 0.3 y 0.5. Para la clase custom, 0.6 fue el óptimo.
Números
| Conjunto | Build | Prec. de ruta | Prec. de route | Sin loop lento | p50 / p95 |
|---|---|---|---|---|---|
| dev (130) | antes | 81.5% | 89.2% | 52.3% | 288 / 396 ms |
| dev (130) | después | 96.2% | 100% | 63.8% | 311 / 392 ms |
| holdout (45) | antes | 73.3% | 84.4% | 46.7% | 322 / 422 ms |
| holdout (45) | después | 95.6% | 97.8% | 66.7% | 301 / 416 ms |
La latencia se mantuvo en unos 300 ms de p50 y 400 ms de p95. Las fallas de triage fueron 0 de 175. El holdout no se usó al ajustar, por eso confío más en el 95.6 que en el 96.2.
Con 45 ítems de holdout, 95.6% son 43 aciertos. Su intervalo es amplio (cerca de 85 a 99 con Wilson, cálculo mío), así que leo el holdout como una verificación de sobreajuste, no como una tasa precisa.
Lo que queda
Los nombres de productos y categorías en texto libre, y las vistas derivadas como la variación de precio, todavía se construyen sin adaptar. Un pedido de tres métodos de pago se adapta aunque una plantilla lo cubre, lo que cuesta una ronda extra pero igual devuelve la salida correcta. Escribí esto en el doc como fallas residuales conocidas.