~/daily/work 2026-09-26 · published 2026-11-21
Calibração do triage: 81.5 para 96.2
Um dia dedicado a calibrar o modelo pequeno que roteia cada pergunta em um assistente de IA que construo no trabalho: acurácia de caminho de 81.5 para 96.2 no dev, de 73.3 para 95.6 no holdout, com a latência inalterada.
- assistant
- routing
- calibration
- evals
- ~/project/versatile-sh
O que o triage faz
O assistente responde perguntas sobre dados de negócio. Toda pergunta passa primeiro por um classificador pequeno e rápido com timeout de 800 ms. Ele decide o caminho: um template de relatório pré-calculado quando algum serve, ou o loop mais lento do modelo com ferramentas quando nenhum serve.
Um caminho errado é caro nas duas direções. Um template ansioso demais dá uma resposta errada com confiança. Um cauteloso demais manda uma pergunta simples para o loop lento.
Hoje rodei o código de triage de produção, com o mesmo cliente e timeout, contra dois conjuntos rotulados: dev (130 perguntas) e holdout (45). A ferramenta também reproduz offline uma varredura de limiares a partir das respostas brutas salvas, então ajustar não custa chamadas novas.
O que estava falhando
- O classificador escolhia o template certo com 0.98 ou mais, mas ficava em dúvida sobre a rota (0.13 a 0.63) em pedidos com gíria e erros de digitação que diziam literalmente a palavra para relatório. Eles caíam no loop lento.
- Perguntas fora de escopo pontuavam 0.84 a 0.89 na classe fora de escopo e escapavam do bloqueio de 0.9.
- Comparações com o período anterior eram marcadas como custom, embora todo template já faça benchmark contra ele.
Mudei as instruções e os limiares do classificador contra esses três padrões. A varredura ficou plana para o limiar de rota entre 0.5 e 0.7 e para o limiar de template entre 0.3 e 0.5. Para a classe custom, 0.6 foi o ótimo.
Números
| Conjunto | Build | Acur. de caminho | Acur. de rota | Sem loop lento | p50 / p95 |
|---|---|---|---|---|---|
| dev (130) | antes | 81.5% | 89.2% | 52.3% | 288 / 396 ms |
| dev (130) | depois | 96.2% | 100% | 63.8% | 311 / 392 ms |
| holdout (45) | antes | 73.3% | 84.4% | 46.7% | 322 / 422 ms |
| holdout (45) | depois | 95.6% | 97.8% | 66.7% | 301 / 416 ms |
A latência ficou em cerca de 300 ms de p50 e 400 ms de p95. As falhas de triage foram 0 de 175. O holdout não foi usado durante o ajuste, por isso confio mais nos 95.6 do que nos 96.2.
Com 45 itens de holdout, 95.6% são 43 acertos. O intervalo é largo (cerca de 85 a 99 com Wilson, cálculo meu), então leio o holdout como uma checagem de overfitting, não como uma taxa precisa.
O que sobrou
Nomes de produtos e categorias em texto livre, e visões derivadas como variação de preço, ainda são construídos sem adaptar. Um pedido de três formas de pagamento é adaptado embora um template o cubra, o que custa uma rodada extra mas ainda devolve a saída certa. Registrei isso no doc como erros residuais conhecidos.