~/daily/work 2026-10-24 · published 2026-11-21
Ler a mensagem inteira logo na entrada
Notas de um dia medindo a leitura frontal do assistente: p95 das perguntas de dados de 6.14 para 3.14 s, uma bateria de acurácia de 64/65 e 12 de 15 mensagens longas com vários assuntos respondidas sem o planner lento.
- assistant
- latency
- routing
- measurement
- ~/project/versatile-sh
O que a leitura frontal faz
No assistente que construo no trabalho, os donos costumam mandar uma mensagem longa com várias perguntas. A leitura frontal é uma única chamada ao modelo que divide a mensagem em pedidos. Cada pedido recebe seu trecho, o que a pessoa quer saber, a rota de relatório que o responde, o período e se é uma comparação.
Os pedidos são respondidos em paralelo, cada um com seu próprio orçamento de tempo, e compostos em uma única resposta na ordem em que foram feitos. Uma parte que falha ou estoura o tempo recebe uma linha simples sobre aquele assunto, e as partes concluídas continuam sendo entregues.
O que medi hoje
Configuração: o núcleo nativo, o leitor de modelo ao vivo, um portão de relatórios simulado de 1.2 s, 20 pedidos de onde está e 20 pedidos de dados.
| Tipo de pedido | Antes p50 / p95 | Depois p50 / p95 |
|---|---|---|
| onde está | 0.90 / 3.40 s | 0.90 / 1.96 s |
| dados | 3.33 / 6.14 s | 2.49 / 3.14 s |
- Bateria de acurácia: 64 de 65, com 79% dos tokens do prompt servidos do cache.
- 15 mensagens longas de donos: 12 responderam todas as partes sem o planner. Os 3 erros foram permissões do fixture, não comportamento.
- Latência de leitura: p50 1.34 s, p95 2.35 s.
Quanto confiar nisso
São 20 e 20 pedidos contra um portão simulado, então o p95 é o 19º ou 20º mais lento de uma amostra pequena. A direção é clara. A segunda casa decimal não.
Hipótese, não testada aqui: a maior parte da queda do p95 de dados vem de ler a mensagem uma vez e rotear direto para um relatório, pulando o planner lento. Não rodei uma ablação que isole isso.
O número 12 de 15 tem mais um limite. Três dos erros foram permissões do fixture, que posso corrigir no harness. Eles não dizem nada sobre o assistente.