~/studies/work 2026-11-21
Notas de lectura: enriquecimiento, backfills y datos tardíos
Notas sobre material público, no sobre mis benchmarks: qué dicen Stripe, Apache Beam, Airflow y el paper de Dataflow sobre idempotencia, backfills y datos tardíos, y cómo lo llevaría a un pipeline de enriquecimiento.
- data-pipelines
- idempotency
- backfill
- late-data
- reading-notes
- ~/project/versatile-sh
Qué es esto
Notas de lectura sobre documentación pública y un paper, consultados el 2026-11-21. No corrí ningún pipeline para esto y no cito ninguna cifra que no esté en la página que enlazo. Donde extiendo una fuente al enriquecimiento, lo marco como lectura mía.
- Stripe, Designing robust and predictable APIs with idempotency: https://stripe.com/blog/idempotency
- Apache Beam programming guide, windowing, watermarks and late data: https://beam.apache.org/documentation/programming-guide/
- Apache Airflow, Dag runs, catchup and backfill: https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dag-run.html
- Akidau et al., The Dataflow Model: https://research.google/pubs/the-dataflow-model-a-practical-approach-to-balancing-correctness-latency-and-cost-in-massive-scale-unbounded-out-of-order-data-processing/
Por enriquecimiento entiendo un paso que toma un registro y le agrega campos calculados a partir de una consulta o un modelo, como el nombre de una empresa resuelto desde un dominio.
Enriquecimiento idempotente
El post de Stripe describe al cliente generando un ID único por operación y enviándolo en un header Idempotency-Key en los POST. El servidor lo correlaciona con el estado de la solicitud. El post separa tres casos de falla: ante una falla de conexión el servidor ve la clave por primera vez y procesa con normalidad; ante una falla a mitad de camino retoma el trabajo y lo completa; cuando la respuesta se perdió después de un éxito, responde con un resultado en caché de la operación exitosa.
El post no da expiración de claves, período de retención ni límite de reintentos, así que no voy a adivinar uno. Su única regla numérica es un backoff del cliente que crece proporcionalmente a 2^n, donde n es la cantidad de fallas.
Mi lectura para enriquecimiento: la clave es la identidad del registro más la versión de aquello de lo que depende el enriquecimiento. Misma clave, mismo resultado guardado. Hipótesis: la pregunta de diseño útil es qué entra en esa versión, como el dataset de referencia, el modelo o el código, porque un reintento que ve una tabla de consulta más nueva producirá otra respuesta con la misma clave.
Backfills
La documentación de Airflow dice que catchup viene desactivado por defecto: los horarios programados perdidos entre start_date y ahora no se rellenan al activar un Dag. Con catchup activado, el scheduler crea una ejecución por cada horario programado que no corrió desde la última ejecución. Cada ejecución tiene un data interval, el rango de tiempo en el que opera, y la logical date en los timetables por data interval es el inicio de esa ventana, no el momento en que se ejecuta.
Backfill vuelve a ejecutar un Dag para un período pasado, desde la UI o con airflow backfill create, que reejecuta todas las instancias de cada intervalo entre las fechas de inicio y fin. La página no usa la palabra idempotencia ni dice que las tareas deban ser idempotentes. Advierte que la lógica escrita para usar now en lugar del intervalo es un caso en que catchup debería estar desactivado.
Mi lectura: un backfill solo es seguro si una ejecución es función de su intervalo y de entradas versionadas. Un job que lee el reloj de pared o la última tabla de referencia dará hoy una respuesta distinta para el mes pasado de la que dio entonces. Hipótesis: para enriquecimiento, marcar cada salida con la versión de la entrada permite distinguir un re-enriquecimiento deliberado de una deriva accidental.
Datos tardíos
Beam define el watermark como la noción del sistema de cuándo se puede esperar que hayan llegado todos los datos de una ventana. Cuando el watermark pasa el final de una ventana, un elemento que llega con un timestamp dentro de esa ventana es un dato tardío. La configuración de windowing por defecto no permite datos tardíos, y la advertencia de la guía dice que por defecto se descartan. La tolerancia a datos tardíos se activa con withAllowedLateness; el ejemplo de la guía permite datos tardíos hasta dos días después del final de una ventana.
El paper de Dataflow enuncia el límite de fondo: nunca se puede optimizar del todo corrección, latencia y costo a la vez para entradas no acotadas y desordenadas, y nunca sabremos si o cuándo hemos visto todos nuestros datos. Su respuesta no es una regla sino abstracciones que permiten elegir el trade-off.
| Situación en un pipeline de enriquecimiento | Lectura |
|---|---|
| El registro llega después de que su ventana se cerró | Beam: tardío; se descarta por defecto salvo que se permita tolerancia. |
| El dato de referencia llega después de los registros que lo necesitan | No lo cubren las fuentes. Mi hipótesis: tratarlo como disparador de re-enriquecimiento por la clave de consulta, no como dato tardío. |
| Un registro tardío cambia un agregado anterior | Aplica el trade-off del modelo Dataflow: emitir una corrección o aceptar el descarte. |
Lo que estas fuentes no dicen
- Ninguna da una cifra del costo de re-enriquecer, así que no tengo ninguna.
- La página de Airflow no define idempotencia para tareas. El post de Stripe trata de llamadas a una API, no de jobs batch; trasladarlo es una extensión mía.
- Leí solo parte de la guía de Beam: las secciones sobre watermarks y datos tardíos.
- Estas notas son una lista inicial de preguntas para mis propios pipelines, no evidencia de cómo se comportan.