~/studies/work 2026-10-27 · published 2026-11-21
McNemar para evals pareados
Por que um eval de antes e depois sobre os mesmos itens precisa de um teste pareado, o teste exato de McNemar bicaudal em uma dúzia de linhas e um exemplo resolvido: de 172 para 183 corretos de 188, 15 corrigidos, 4 quebrados, p = 0.019.
- evals
- statistics
- mcnemar
- typescript
- ~/project/versatile-sh
Por que a comparação é pareada
Quando mudo um prompt ou um router em um assistente de IA, passo o mesmo conjunto fixo de itens pela build velha e pela nova. Cada item tem então dois resultados: passar ou falhar no baseline, passar ou falhar no candidate. Isso é um desenho pareado, e o teste usual de duas proporções o ignora.
Um teste de duas proporções trata 172/188 e 183/188 como duas amostras independentes. Não são. Os mesmos 188 itens estão nos dois lados, e a maioria se comporta do mesmo jeito nas duas builds. Essa dificuldade compartilhada é variância que o teste não pareado conta como ruído, então ele é menos sensível do que precisa ser.
A visão pareada descarta a parte compartilhada. Itens que passam nas duas builds, ou falham nas duas, não dizem nada sobre qual build é melhor. Só os itens que mudaram de lado carregam informação.
A tabela 2x2 e o teste
Conte os itens pelo par de resultados. Duas células são as discordantes: fixed (falhou no baseline, passa no candidate) e broken (o inverso).
| candidate passa | candidate falha | |
|---|---|---|
| baseline passa | 168 (ambos passam) | 4 (broken) |
| baseline falha | 15 (fixed) | 1 (ambos falham) |
Sob a hipótese nula de que as duas builds são igualmente boas, cada item discordante tem a mesma chance de cair em qualquer das duas células. Então, com n = fixed + broken itens discordantes, o número de corrigidos é Binomial(n, 1/2). O valor p exato bicaudal é o dobro da cauda menor, limitado a 1.
Não é preciso a aproximação qui-quadrado, e aqui ela não é prudente: com 19 itens discordantes a aproximação tem pouco em que se apoiar. A versão exata é barata.
As contagens de ambos-passam e ambos-falham da tabela decorrem dos totais. 172 + 15 - 4 = 183 passam no candidate, e o item 188 - 172 - 15 = 1 que falha nas duas builds é o resto.
A função
O laço abaixo percorre a pmf binomial para cima com a razão term(i+1) = term(i) * (n - i) / (i + 1), começando em 0.5^n. Ele acumula a cauda inferior até min(b, c) e a dobra.
export function mcnemarExact(b: number, c: number): number {
const n = b + c;
if (n === 0) return 1;
const k = Math.min(b, c);
let term = 0.5 ** n;
let cdf = 0;
for (let i = 0; i <= k; i++) {
cdf += term;
term = (term * (n - i)) / (i + 1);
}
return Math.min(1, 2 * cdf);
}Limite: 0.5^n sofre underflow para zero quando n passa de uns 1,070 itens discordantes, e o laço devolveria 0. Os conjuntos de eval que rodo ficam bem abaixo disso. Se os seus não ficam, trabalhe em espaço logarítmico.
Rodei nesta máquina (AMD Ryzen 7 5700X, Linux, Node v26.13.0, node --experimental-strip-types run.ts). O código mora no meu repositório de laboratório em paired-evals. Os resultados são determinísticos, então não há dispersão para reportar.
| corrigidos | quebrados | p exato bicaudal |
|---|---|---|
| 15 | 4 | 0.0192 |
| 8 | 1 | 0.0391 |
| 2 | 1 | 1 |
| 47 | 0 | 1.42e-14 |
O exemplo resolvido
Uma mudança recente na porta de entrada do assistente foi avaliada com 188 itens. O baseline acertou 172 (91.5%) e o candidate 183 (97.3%). O candidate corrigiu 15 itens e quebrou 4.
n = 19 itens discordantes, e o lado menor é 4. O p exato bicaudal é 0.0192, que reporto como p = 0.019.
Um ganho de 5.9 pontos em 188 itens soa decisivo, mas o teste só vê 19 itens. A evidência é real, mas não enorme. Se o candidate tivesse corrigido 15 e quebrado 8, p seria 0.21 e eu não afirmaria vitória.
Quatro itens quebraram. O valor p diz que o ganho líquido dificilmente é acaso. Não diz que as quatro regressões são aceitáveis. Leio esses quatro antes de lançar, o que quer que o teste diga.
O que ele não diz
- Só testa este conjunto de itens. Itens de um gerador e uma seed generalizam para essa distribuição, não para o tráfego de produção.
- Precisa de passa/falha por item. Uma nota graduada por item pede um teste pareado sobre diferenças.
- Não diz nada sobre o tamanho do efeito. Combine com um intervalo para cada taxa de acerto (veja o post sobre Wilson) e as contagens cruas de corrigidos e quebrados.
- Se o grader é ruidoso, as células discordantes se enchem de desacordo do grader. Uso dois graders cegos e um terceiro para os desacordos, e reporto a concordância.
O hábito que mantenho: sempre publicar o 2x2, não só o p. 15 corrigidos e 4 quebrados dizem a um leitor mais que qualquer número isolado.