~/discoveries/work 2026-11-09 · published 2026-11-21
El doble de pagos que reescaneaba todo
Un spike de carga sobre los mundos controlados de hakoniwa encontró un escaneo O(n al cuadrado) en un proveedor de pagos falso. Arreglarlo con una cola ordenada por tiempo subió el throughput 55% en la misma ventana.
- hakoniwa
- performance
- go
- debugging
- ~/project/versatile-sh
Cómo me topé con esto
hakoniwa puede ejecutar una app en un mundo controlado: un reloj que puedes saltar, un Postgres bifurcable y dobles para servicios externos. Uno de los dobles es un proveedor de pagos falso. Acepta intents de pago, los liquida a una hora del mundo y entrega webhooks firmados a la app.
El spike S10 hizo una pregunta acotada. Cuando el reloj del mundo salta mientras la app atiende tráfico, ¿con qué frecuencia decide el motor por error que la app estaba quieta? Para medirlo manejé compradores por HTTP y salté el reloj 100 veces con una pausa de 50 a 200 ms. La configuración está en Testear con un reloj congelado. Este post trata en cambio de lo que el nivel de carga más alto le hizo al motor.
Síntoma
Bajo carga de saturación el host del mundo dejaba un CPU al máximo, y el desmontaje tras la corrida tardaba mucho. Las notas del spike registran de 11 a 23 segundos de desmontaje tras de 37k a 38k solicitudes. Tras una corrida de 221k solicitudes, el desmontaje tardó más de 18 minutos.
Que el tiempo de desmontaje crezca más rápido que la cantidad de solicitudes es la firma de un costo cuadrático. Duplicar el tráfico no duplicaba el trabajo.
Causa
Un volcado de goroutines ubicó el tiempo en una sola función, el `catchUp` del doble de pagos. En cada drenaje de entrega de webhooks, en cada tick del reloj y en cada llamada a `Pending`, escaneaba todos los intents creados alguna vez para encontrar los que ya vencían. Con n intents y unas n entregas, eso es O(intents) por O(entregas).
Mi inferencia, no algo que digan las notas: a medida que avanza la corrida, la mayoría de esos intents ya están liquidados, así que la mayoría de las pasadas no encuentra nada nuevo y el trabajo es repetición.
Arreglo y resultado
El tiempo del mundo solo avanza, así que las liquidaciones vencidas siempre están al frente de una lista ordenada por hora de liquidación. El arreglo mantiene las liquidaciones en una cola first-in first-out ordenada así, y `catchUp` saca lo que vence y se detiene en el primero que no.
| Antes | Después | |
|---|---|---|
| Solicitudes atendidas en la misma ventana | 37k to 38k | 57.5k (+55%) |
| Desmontaje | 11 to 23 s | 0.1 s |
Un test, `TestOnlyDueSettlementsSettle`, fija el comportamiento de solo vencidas. Los tests existentes de ciclo de vida, webhooks y pendientes pasaron sin cambios.
Los números salen de las propias notas del spike: el host se compartió con otras verificaciones, así que los tiempos de pared son indicativos, y el 55% es una sola comparación, no un benchmark repetido. Mi lectura de por qué subió el throughput es una hipótesis: el CPU que se iba en reescanear volvió a atender solicitudes.
Qué me llevo
El bug no apareció con carga ligera ni media. Con 3 y 4 compradores, 3006 y 14450 solicitudes corrieron sin problema. Apareció solo cuando empujé el nivel más alto por otra razón. Un doble que es correcto y lento igual arruina el experimento para el que existe, porque el motor termina midiendo su propio falso.
La medición tuvo un beneficio colateral. Bajo esa carga de saturación la sonda de quietud nunca aceptó un salto: 106 de 106 saltos fueron rechazados con `world not quiet`. Rechazó en lugar de saltar en silencio, que es el comportamiento que quería.