~/daily/work 2026-10-29 · published 2026-11-21

Um relógio no prompt custou 62% por turno

O system prompt do agente de chat começava com a hora atual, então o prefixo de cache mudava a cada minuto. Mover o contexto por turno para o fim levou a parcela em cache de 53% para 88% e reduziu o custo por turno em 62% em um bench local.

O que o ledger mostrou

Li o ledger de uso de produção de uma loja do assistente de chat: 53 turnos de clientes e 251 chamadas ao modelo. Cerca de 85% do gasto veio de 51 chamadas grandes (cerca de 17.500 tokens de prompt cada) que erraram o cache de prompt do provedor.

A causa era a ordem do prompt. Ele começava com o nome da loja, depois um bloco de relógio com o minuto atual, depois a memória salva do cliente, e só então as regras, a personalidade e as ferramentas. Um minuto novo, ou uma memória salva nova, mudava os primeiros bytes, e tudo o que vinha depois era cobrado como sem cache. A primeira chamada ao modelo de um turno errou o cache em 39 de 45 turnos.

Um segundo bug ficava ao lado. A seção de memória iterava um map do Go, então duas chaves podiam ser renderizadas em ordem diferente no turno seguinte.

A correção

  • O system prompt mantém só o conteúdo por loja: nome, saudação, personalidade, regras, política de pagamento.
  • O relógio, a memória do cliente (chaves ordenadas) e os casos registrados vão para uma única mensagem posicionada depois do histórico e logo antes da mensagem do cliente.
  • O system prompt, os esquemas de ferramentas e o histórico agora formam um prefixo idêntico byte a byte entre turnos e entre clientes da mesma loja.
  • O agente escolhe um provedor por loja por dia local, para o cache não ser dividido entre provedores.

Resultado do bench

Bench local: 8 conversas roteirizadas de 4 turnos em uma loja de teste, com as partes do prompt de produção e o provedor fixado nos dois braços, sem fallbacks. O regime de baixa concorrência envia um turno por minuto, como a produção.

BraçoParcela em cacheAcertos de cache na primeira chamadaChamadas / turnoCusto / turno
base53.0%0 / 163.94linha de base
branch88.1%14 / 163.44-62%

Com tráfego intercalado, a base já tinha 74.9% em cache, porque conversas que caem no mesmo minuto compartilham prefixo. Uma loja movimentada consegue isso por sorte. Uma loja com um turno por minuto, como a produção, não.

As chamadas por turno foram de 3.94 para 3.44, mas não mexi no loop, então trato isso como variância do modelo. Na checagem cega de acurácia das transcrições, a base passou em 6 de 12 conversas e o branch em 8 de 12, e nada que passou na base falhou no branch.

Limites

O bench pula o roteamento na frente do agente e mede só o caminho do agente. Doze conversas é uma amostra pequena para a linha de acurácia. A linha de custo é uma razão de uma única configuração de bench, não uma promessa para produção.