~/studies/work 2026-10-27 · published 2026-11-21

McNemar para evals pareados

Por que um eval de antes e depois sobre os mesmos itens precisa de um teste pareado, o teste exato de McNemar bicaudal em uma dúzia de linhas e um exemplo resolvido: de 172 para 183 corretos de 188, 15 corrigidos, 4 quebrados, p = 0.019.

Por que a comparação é pareada

Quando mudo um prompt ou um router em um assistente de IA, passo o mesmo conjunto fixo de itens pela build velha e pela nova. Cada item tem então dois resultados: passar ou falhar no baseline, passar ou falhar no candidate. Isso é um desenho pareado, e o teste usual de duas proporções o ignora.

Um teste de duas proporções trata 172/188 e 183/188 como duas amostras independentes. Não são. Os mesmos 188 itens estão nos dois lados, e a maioria se comporta do mesmo jeito nas duas builds. Essa dificuldade compartilhada é variância que o teste não pareado conta como ruído, então ele é menos sensível do que precisa ser.

A visão pareada descarta a parte compartilhada. Itens que passam nas duas builds, ou falham nas duas, não dizem nada sobre qual build é melhor. Só os itens que mudaram de lado carregam informação.

A tabela 2x2 e o teste

Conte os itens pelo par de resultados. Duas células são as discordantes: fixed (falhou no baseline, passa no candidate) e broken (o inverso).

candidate passacandidate falha
baseline passa168 (ambos passam)4 (broken)
baseline falha15 (fixed)1 (ambos falham)

Sob a hipótese nula de que as duas builds são igualmente boas, cada item discordante tem a mesma chance de cair em qualquer das duas células. Então, com n = fixed + broken itens discordantes, o número de corrigidos é Binomial(n, 1/2). O valor p exato bicaudal é o dobro da cauda menor, limitado a 1.

Não é preciso a aproximação qui-quadrado, e aqui ela não é prudente: com 19 itens discordantes a aproximação tem pouco em que se apoiar. A versão exata é barata.

As contagens de ambos-passam e ambos-falham da tabela decorrem dos totais. 172 + 15 - 4 = 183 passam no candidate, e o item 188 - 172 - 15 = 1 que falha nas duas builds é o resto.

A função

O laço abaixo percorre a pmf binomial para cima com a razão term(i+1) = term(i) * (n - i) / (i + 1), começando em 0.5^n. Ele acumula a cauda inferior até min(b, c) e a dobra.

b = itens corrigidos, c = itens quebrados. Devolve o valor p exato bicaudal.ts
export function mcnemarExact(b: number, c: number): number {
  const n = b + c;
  if (n === 0) return 1;
  const k = Math.min(b, c);
  let term = 0.5 ** n;
  let cdf = 0;
  for (let i = 0; i <= k; i++) {
    cdf += term;
    term = (term * (n - i)) / (i + 1);
  }
  return Math.min(1, 2 * cdf);
}

Limite: 0.5^n sofre underflow para zero quando n passa de uns 1,070 itens discordantes, e o laço devolveria 0. Os conjuntos de eval que rodo ficam bem abaixo disso. Se os seus não ficam, trabalhe em espaço logarítmico.

Rodei nesta máquina (AMD Ryzen 7 5700X, Linux, Node v26.13.0, node --experimental-strip-types run.ts). O código mora no meu repositório de laboratório em paired-evals. Os resultados são determinísticos, então não há dispersão para reportar.

corrigidosquebradosp exato bicaudal
1540.0192
810.0391
211
4701.42e-14

O exemplo resolvido

Uma mudança recente na porta de entrada do assistente foi avaliada com 188 itens. O baseline acertou 172 (91.5%) e o candidate 183 (97.3%). O candidate corrigiu 15 itens e quebrou 4.

n = 19 itens discordantes, e o lado menor é 4. O p exato bicaudal é 0.0192, que reporto como p = 0.019.

Um ganho de 5.9 pontos em 188 itens soa decisivo, mas o teste só vê 19 itens. A evidência é real, mas não enorme. Se o candidate tivesse corrigido 15 e quebrado 8, p seria 0.21 e eu não afirmaria vitória.

Quatro itens quebraram. O valor p diz que o ganho líquido dificilmente é acaso. Não diz que as quatro regressões são aceitáveis. Leio esses quatro antes de lançar, o que quer que o teste diga.

O que ele não diz

  • Só testa este conjunto de itens. Itens de um gerador e uma seed generalizam para essa distribuição, não para o tráfego de produção.
  • Precisa de passa/falha por item. Uma nota graduada por item pede um teste pareado sobre diferenças.
  • Não diz nada sobre o tamanho do efeito. Combine com um intervalo para cada taxa de acerto (veja o post sobre Wilson) e as contagens cruas de corrigidos e quebrados.
  • Se o grader é ruidoso, as células discordantes se enchem de desacordo do grader. Uso dois graders cegos e um terceiro para os desacordos, e reporto a concordância.

O hábito que mantenho: sempre publicar o 2x2, não só o p. 15 corrigidos e 4 quebrados dizem a um leitor mais que qualquer número isolado.