~/daily/work 2026-11-09 · published 2026-11-21

hakoniwa, día uno: de los ADRs a un mundo

Lo que muestra el historial git del engine de tests para el 2026-11-09: 282 commits en un día, el orden en que fue llegando todo y el benchmark que no alcanzó su meta.

Los números

hakoniwa es el engine de tests. La historia de su repositorio empieza el 2026-11-09, y 282 commits llevan esa fecha: 237 sin merges, más los merges de los pull requests #5 a #13. Tres commits sin merge llevan fecha del día 10 y 38 del 13.

Eso es un conteo de fechas de commits, no una medida de esfuerzo. Muchos de esos commits vienen de ramas paralelas mergeadas el mismo día y nombradas por versión: v2, v3, v4, v5.

El orden en que llegó todo

  1. 1Primero las decisionesADR-0001 a ADR-0005 están entre los primeros commits: el núcleo neutral, un ciclo de vida de ejecución propiedad del engine con workers arrendados, gates de admisión contra tests falsos, el worker y su evidencia, y los principios de ingeniería.
  2. 2Ciclo de vida y gatesUna máquina de estados de tests donde solo una persona puede admitir, una máquina de estados de ejecuciones con leases y pausa en el límite de un paso, y los gates de admisión G1 a G5: compilar, replays limpios, una falla sembrada que debe poner el test en rojo, procedencia de las aserciones y oráculos implícitos silenciosos.
  3. 3Almacenamiento y superficiesUn schema de Postgres con row-level security forzada, un store en memoria con la misma suite de conformance, luego una tabla de operaciones servida por HTTP, gRPC y MCP, más una CLI derivada de ella.
  4. 4Una meta de velocidad y un benchmarkADR-0011 fijó el objetivo: al menos 50% menos de wall time y CPU que Playwright plano con los mismos veredictos. Un benchmark de 17 specs, con su app y su harness, siguió el mismo día.
  5. 5Versiones v2 a v5Un commit titulado Decide v2 to v5 and plan their build abre la segunda mitad del día: v2 soft steps y check runs, v3 recording runs y locator healing, v4 el world host con un seam de reloj, fork y quiescence probe, v5 shortcuts, un result cache, suites y un inbox firmado.
  6. 6Spikes sobre el mundoLos spikes S8, S10 y S11 midieron el reloj en Postgres, el quiescence probe y el control flake. Son el tema de Testing with a frozen clock.

El benchmark, el mismo día

El resultado del benchmark llegó el mismo día en que se construyó, y no alcanzó la meta. Medianas de 3 repeticiones sanas, 4 CPUs y 6 GB por contenedor: el engine usó de 37 a 39% menos CPU que Playwright plano, y el wall time quedó dentro del ruido, de -3 a -5%. La meta de 50% no se cumplió. La lectura completa está en otro post, Where the wall time went.

Verificación en Docker

El mismo día, v2 y v3 se verificaron en un contenedor con un script que reproducía acciones fijas sobre la API HTTP y ningún modelo. La ejecución de v3 grabó cinco sesiones, las compiló, pasó los gates G1 a G5 y las reprodujo, con 0 tokens gastados. Un id de test renombrado convirtió un replay en healed con una propuesta de locator, que una persona aceptó.

También encontró cinco bugs en el código de v2 y v3. El que más me gusta: el runner conservaba los metadatos de su primera configuración, así que la segunda ejecución y las siguientes de un worker no recibían directorio de evidencia. La corrección lee el archivo de la ejecución actual en el momento del test.