~/studies/work 2026-10-27 · published 2026-11-21

Intervalos de Wilson para tasas de aprobación

Por qué la aproximación normal falla en conjuntos de eval pequeños cerca de 100%, el intervalo de puntaje de Wilson en pocas líneas, y los números: 183/188 da 93.9 a 98.9, y 64/65 da 91.8 a 99.7.

El problema de p más o menos z

Un eval me da una tasa de aprobación: x aprobados de n ítems. El intervalo de los libros de texto es p +/- z * sqrt(p(1-p)/n), el intervalo de Wald. Es lo que la mayoría busca primero, y está mal justo donde viven los evals: n pequeño y una tasa de aprobación cerca de 100%.

Dos modos de falla. Primero, puede salirse del rango válido. Segundo, cuando p es 1 el error estándar es 0, así que el intervalo colapsa a un punto y afirma certeza con un puñado de ítems.

Los números de abajo salen de un script que corrí, no de memoria. Node v26.13.0 en Linux, AMD Ryzen 7 5700X, z = 1.959964. El código está en mi repositorio de laboratorio bajo paired-evals.

El intervalo de puntaje de Wilson

Wilson invierte el test de puntaje en lugar de meter la p observada en la varianza. El centro se acerca a 1/2 y el ancho se adapta a n. Nunca sale de [0, 1] y no colapsa en p = 1.

Intervalo de 95% para x aprobados en n ítems. Multiplica por 100 para obtener porcentaje.ts
export function wilson(x: number, n: number, z = 1.959964): [number, number] {
  const p = x / n;
  const d = 1 + (z * z) / n;
  const c = (p + (z * z) / (2 * n)) / d;
  const h = (z * Math.sqrt((p * (1 - p)) / n + (z * z) / (4 * n * n))) / d;
  return [c - h, c + h];
}

Como referencia, la versión de Wald son las mismas tres líneas sin la corrección: p más o menos z * sqrt(p(1-p)/n). Calculé ambas con las mismas entradas.

Los números

Tasa de aprobaciónWilson 95%Wald 95%
172/18886.6 - 94.787.5 - 95.5
183/18893.9 - 98.995.0 - 99.6
64/6591.8 - 99.795.5 - 101.5

183/188 es 97.3%. Wilson dice 93.9 a 98.9. Wald dice 95.0 a 99.6, que es más angosto y está más arriba: es optimista en ambos extremos.

64/65 es 98.5%. Wald da un límite superior de 101.5%, una tasa de aprobación que ningún eval puede tener. Wilson da 91.8 a 99.7. Ese límite inferior es la parte honesta: con 65 ítems no puedo descartar una tasa real de aprobación cercana a 92%.

Otro par de mis registros: una batería de 52 pedidos pasó de 3/52 a 50/52. Wilson da 2.0 a 15.6 para la primera y 87.0 a 98.9 para la segunda. Los intervalos no se tocan, y esa es la historia. Calcularlos de nuevo aquí reprodujo esas cifras registradas.

En el borde, 0/10 da 0.0 a 27.8 y 10/10 da 72.2 a 100.0. Diez aprobados limpios no muestran una tasa de 99%. Muestran una tasa por encima de cerca de 72%.

Cómo lo uso

  • Toda tasa de aprobación en un reporte lleva su n y su intervalo de Wilson. Un 98.5% a secas no es un resultado.
  • Que los intervalos de dos builds se solapen no prueba que no haya diferencia. Los ítems son los mismos en ambos lados, así que el test pareado (ver el post de McNemar) es la herramienta correcta para comparar. El intervalo es para el nivel absoluto.
  • Leo el límite inferior como el número que puedo defender. 64/65 es un buen resultado y una afirmación débil sobre 98.5%.
  • Clopper-Pearson es la alternativa exacta. Es conservador (más ancho) y sirve si prefieres no subcubrir nunca. Uso Wilson porque es corto y su cobertura es cercana a la nominal.

Límite: Wilson supone que los ítems son muestras independientes. Los ítems de eval generados desde plantillas, o varios pedidos sobre el mismo ítem del menú, están correlacionados, y la incertidumbre real es mayor que la que dice el intervalo. Por eso anoto el generador y la semilla junto al intervalo.