Conformal Prediction para pronósticos de series temporales: ¿cómo envolver los cuantiles de un modelo fundacional?

Un modelo fundacional de series temporales que produce pronósticos de cuantiles, como q10, q50, q90, da una estimación puntual y una dispersión aproximada, pero no promete que el precio verdadero caerá dentro del intervalo declarado una fracción conocida del tiempo. Los datos financieros OHLCV en horizontes de 5 minutos a diarios son exactamente el tipo de serie donde el proceso generador de datos cambia: los regímenes de volatilidad se desplazan, los eventos de noticias causan saltos, y la microestructura de mercado en barras de 5 minutos difiere de la de barras diarias. Conformal prediction está construido para dar una garantía sobre la cobertura sin asumir un modelo probabilístico de cómo se generaron los datos, lo cual importa porque nadie puede afirmar honestamente que conoce la verdadera distribución de los retornos de activos antes de que ocurra [1].

La garantía conformal clásica asume exchangeability de los datos de calibración y prueba, lo que significa que cualquier ordenamiento de los puntos de datos es igualmente probable [2]. Las series temporales financieras violan esto: una observación del martes pasado no es exchangeable con una de hoy porque el mercado ha avanzado. Por esto existen las variantes online y adaptativas de conformal prediction: abandonan el supuesto de exchangeability y, en su lugar, tratan las covariables y las respuestas como una secuencia determinista potencialmente adversarial, sin asumir ningún modelo probabilístico [1].

El distribution drift se declara directamente como la razón por la que conformal prediction ordinario falla en entornos desplegados: conformal prediction es válido bajo exchangeability, pero el drift viola ese supuesto [8]. Weighted conformal prediction se construyó específicamente para abordar esta brecha usando cuantiles ponderados en lugar del cuantil empírico uniforme del conjunto de calibración, mejorando la robustez frente al drift [8]. Esto importa para un desarrollador que envuelve los pronósticos de un modelo fundacional sobre flujos de precios en vivo, porque la actualización del conjunto de calibración tiene que seguir funcionando mientras el régimen de mercado cambia por debajo, y la teoría tiene que decir qué ocurre cuando eso sucede.

Las implicaciones prácticas están directamente ligadas al ancho del intervalo. Un método que logra cobertura nominal emitiendo un intervalo infinitamente ancho es técnicamente válido pero inútil para un sistema de trading o de riesgo. Varios de los métodos siguientes están diseñados explícitamente para evitar este modo de fallo, y reducir el ancho del intervalo mientras se mantiene la cobertura es la cantidad central que un desarrollador debería monitorear al comparar cualquiera de estos wrappers con los cuantiles brutos de un modelo fundacional.

Adaptive conformal inference (ACI) es un método para envolver métodos de predicción de caja negra, ya sea que produzcan predicciones puntuales o cuantiles estimados, en intervalos conformales que siguen funcionando bajo distribution shift [2]. Modela el distribution shift como un problema de aprendizaje en un único parámetro cuyo valor óptimo cambia con el tiempo y se reestima continuamente [2]. Esta elección de diseño, un único escalar monitoreado online, es lo que permite que ACI se adapte sin reajustar nunca el modelo de pronóstico subyacente.

Sequential conformal prediction es el marco online más general: en cada tiempo t construye el conjunto C_t={y en el espacio de resultados: s_t(x_t,y)≤q_t}, donde q_t es una estimación del cuantil 1−α del nonconformity score en el tiempo t [1]. Esto está configurado deliberadamente para el entorno de distribution shift online, donde las covariables y las respuestas pueden formar una serie temporal determinista potencialmente adversarial y no se asume ningún modelo probabilístico para los datos [1]. Un score conformal online válido en este marco puede ser cualquier función orientada negativamente s_t que mapea covariables y resultados a un número real, donde scores más bajos significan mayor precisión de pronóstico [1].

Para un modelo que produce un cuantil inferior y uno superior, como hacen la mayoría de los modelos fundacionales de series temporales, conformal quantile regression define el score S(X_t,y) como el máximo de q(X_t;alpha/2) menos y y de y menos q(X_t;1-alpha/2) [2]. Este score es exactamente la forma necesaria para envolver un modelo fundacional que ya genera q10 y q90: el score mide cuán lejos cae el resultado verdadero fuera de la banda de cuantiles que fue violada, y es cero o negativo cuando y está dentro del intervalo.

El objetivo que persiguen estos métodos online no es cobertura puntual sino cobertura de largo plazo: la tasa de miscoverage promedio sobre T pasos de tiempo, 1/T por la suma de err_t desde t=1 hasta T, debería ser igual a alpha más un término que desaparece a medida que T crece [1]. Este objetivo se elige deliberadamente: sin ningún supuesto sobre la secuencia de datos, lograr cobertura en cada paso de tiempo individual requeriría intervalos de predicción de tamaño infinito, así que el objetivo secuencial tiene que ser de largo plazo y no puntual [1].

Conformal PID control enmarca la actualización online del cuantil como un problema de control, tomando prestada la estructura proporcional-integral-derivativa de la teoría de control. La actualización general establece q_{t+1} igual a q-hat_{t+1} más r_t por la suma acumulada desde i=1 hasta t de (err_i menos alpha), donde q-hat_{t+1} puede ser cualquier función de las covariables pasadas, los resultados y las estimaciones de cuantiles hasta el tiempo t [1]. Esta única ecuación es la columna vertebral tanto de las variantes de quantile tracking como de error integration descritas abajo.

Quantile tracking aplica descenso de gradiente online en ejecución a la pérdida de cuantil sumada sobre scores pasados, y se describe como el término de control proporcional en este marco [1]. Logra cobertura de largo plazo bajo scores acotados sin ningún supuesto adicional, incluso cuando la cota de los scores es desconocida para quien practica [1]. Una ventaja práctica clave sobre ACI simple se declara directamente: a diferencia de ACI, quantile tracking no devuelve conjuntos de predicción infinitos después de una secuencia de eventos de miscoverage [1], lo cual importa para un desarrollador porque un intervalo infinito es operativamente inútil en un sistema de trading en vivo.

Error integration es el término de control integral: incorpora la suma acumulada de (err_i menos alpha) directamente en la actualización online del cuantil [1]. Este esquema logra cobertura de largo plazo sin ningún supuesto sobre los scores, incluido el caso en que los scores no están acotados [1], lo cual es una garantía más fuerte que el requisito de scores acotados de quantile tracking, a costa de no heredar la propiedad específica anti-intervalo-infinito de quantile tracking como una afirmación declarada por separado.

El tercer componente, scorecasting, entrena un segundo modelo cuyo trabajo es predecir el cuantil del siguiente nonconformity score [1]. Esto permite que el procedimiento general tenga en cuenta tendencias sistemáticas en los scores, descritas en la fuente como provenientes de aspectos de la distribución de datos, ya sean fijos o cambiantes [1]. Para un wrapper de modelo fundacional, scorecasting es la pieza que permitiría a la capa conformal anticipar, por ejemplo, que la volatilidad (y por ende la magnitud del score) tiende a ser mayor en la primera hora de trading, aunque la afirmación subyacente solo declara que captura aspectos fijos o cambiantes de la distribución de datos en términos generales, no ningún patrón financiero específico.

Debajo de las actualizaciones online está la maquinaria básica de split-conformal, que cualquier desarrollador necesita entender antes de adaptarla a datos en streaming. Un conjunto de calibración online consiste en pares observados previamente y se usa para determinar cuán pequeño debe ser un conformity score para que una respuesta candidata sea aceptada [2]. Concretamente, el cuantil ajustado del score Q-hat(p) se define como el ínfimo sobre s tal que la fracción de pares de calibración con score como máximo s sea al menos p, y un candidato y se acepta siempre que su score S(X_t,y) sea como máximo Q-hat(1-alpha) [2].

Bajo exchangeability de los datos de calibración y prueba, con desempate aleatorizado uniformemente, el conjunto de predicción split-conformal logra cobertura igual al techo de |D_cal| por (1-alpha), dividido por (|D_cal|+1) [2]. Esta es la garantía exacta de muestra finita que ofrece conformal prediction clásico, y es el benchmark que todas las variantes online y ponderadas intentan preservar, o aproximar, una vez que exchangeability se rompe. La garantía misma requiere exchangeability de los datos de entrenamiento y prueba, declarado claramente como un requisito del resultado habitual de cobertura marginal conformal [2].

Weighted conformal prediction apunta directamente al caso en que este requisito falla. Usa cuantiles ponderados, en lugar del cuantil empírico uniforme de la fórmula anterior, específicamente para mejorar la robustez frente al distribution drift [8]. Para que esto funcione con algoritmos que no tratan cada punto de datos de la misma manera, el marco weighted conformal introduce una técnica de aleatorización que permite tal tratamiento asimétrico [8].

Dos garantías enmarcan el comportamiento del método ponderado. Bajo exchangeability, los métodos weighted conformal logran las mismas garantías de cobertura que los métodos de conformal prediction existentes, así que no se pierde nada cuando el supuesto se cumple [8]. Cuando exchangeability se viola, ya sea por distribution drift u otras características difíciles de datos reales, los métodos weighted conformal exhiben sustancialmente menos pérdida de cobertura que los métodos existentes [8]. Este es un hallazgo comparativo y cualitativo, descrito como

Más allá de las familias PID y weighted-conformal, se documentan varios otros wrappers conformales que un desarrollador debería conocer antes de elegir uno para los cuantiles de un modelo fundacional. Bellman Conformal Inference proporciona intervalos de predicción aproximadamente calibrados para pronósticos de series temporales, y logra cobertura de largo plazo bajo cambios de distribución arbitrarios y dependencia temporal [4]. Su propiedad empírica distintiva se declara directamente: produce empíricamente intervalos de predicción sustancialmente más cortos que los métodos existentes, y evita el modo de fallo de intervalos de longitud infinita no informativos [4]. En esta afirmación no se da ningún ancho de intervalo ni porcentaje de cobertura numérico específico, solo la comparación cualitativa contra métodos no nombrados

Un desarrollador que pregunta específicamente sobre datos financieros OHLCV en horizontes de 5 minutos a diarios necesita saber con precisión qué se ha medido y qué no se ha medido en este conjunto de evidencia. El artículo de conformal PID control reporta experimentos sobre retornos de mercado, pero los pasajes disponibles aquí no dan números de cobertura o ancho de intervalo para datos financieros OHLCV en horizontes de 5 minutos a diarios, y no comparan tales números con cuantiles brutos de modelos fundacionales [1]. Esta es una brecha importante: los experimentos con retornos de mercado existen en ese artículo, pero la comparación específica que un desarrollador quiere, intervalo calibrado versus cuantil bruto, sobre barras OHLCV, en estos horizontes específicos, no está presente en las afirmaciones verificadas.

El único artículo de este conjunto que da un número concreto y nombrado es el marco industrial de incertidumbre para series temporales, y su número proviene de un conjunto de datos de producción de sinterización, no de datos financieros: 95.6% de cobertura y una reducción de 15.70% en el ancho del intervalo de predicción en comparación con el modelo benchmark de mejor rendimiento [5]. Esto muestra que la arquitectura general de nonconformity score de dos lados, completo más local, puede alcanzar cobertura alta con un intervalo significativamente más pequeño que un benchmark fuerte, pero no dice nada sobre si la misma arquitectura se comportaría igual en barras de acciones o cripto de 5 minutos, que tienen agrupamiento de volatilidad y microestructura diferentes a los datos de proceso de sinterización.

La evaluación de EnCQR se reporta solo en términos comparativos y no numéricos en este conjunto de evidencia: los experimentos reportaron que produjo intervalos de predicción más nítidos, más informativos y válidos que métodos basados solo en quantile regression o solo en conformal prediction [9]. No se adjunta a esta afirmación ningún porcentaje de cobertura ni número de reducción de ancho específico, ni ningún conjunto de datos específico, así que un desarrollador no puede citar un número para EnCQR del modo en que puede citar 95.6% y 15.70% del marco industrial.

La ventaja de weighted conformal prediction bajo drift se reporta igualmente de forma cualitativa, como

El límite central para esta pregunta de investigación es directo y debe declararse claramente: ninguna de las afirmaciones verificadas reporta números de cobertura o ancho de intervalo para datos financieros OHLCV en horizontes de 5 minutos a diarios, y ninguna compara ningún wrapper conformal con los cuantiles brutos de un modelo fundacional sobre ese tipo de datos [1]. Los experimentos con retornos de mercado del artículo de conformal PID existen, pero no se detallan aquí con números [1]. Cualquiera que cite esta nota como evidencia de un número específico de cobertura o ancho sobre datos de precios la estaría malinterpretando; la nota especifica mecanismos y da números solo donde una fuente los declara, y ninguno de esos números es para datos OHLCV.

Un segundo límite se refiere específicamente a datos de precios en streaming. Los pasajes proporcionados no especifican una implementación de weighted conformal prediction para datos de precios en streaming [1]. La propiedad de robustez frente al drift de weighted conformal prediction se establece en general [8], pero traducir su esquema de ponderación a una actualización online y en streaming del conjunto de calibración para ticks o barras queda sin especificar en estas fuentes, y un desarrollador que lo intente está haciendo ingeniería original, no reproduciendo una receta documentada.

Tercero, varios resultados numéricos de este conjunto provienen cada uno de un único dominio: la cobertura de 95.6% y la reducción de ancho de 15.70% del marco industrial son de un conjunto de datos de producción de sinterización [5], y no existe aquí ningún número único equivalente para EnCQR, EnbPI o Bellman Conformal Inference. Comparar estos métodos cara a cara en el mismo conjunto de datos financieros no se ha hecho en las afirmaciones verificadas, así que cualquier ranking que un desarrollador haga entre ellos, antes de ejecutar el experimento, es especulación, no un hallazgo documentado.

Cuarto, las garantías de cobertura mismas vienen con condiciones que no deben confundirse entre sí. La cobertura de largo plazo de quantile tracking requiere scores acotados, incluso si la cota es desconocida [1], mientras que la cobertura de largo plazo de error integration se cumple sin ningún supuesto sobre los scores, acotados o no [1]. La garantía de cobertura de ACI se cumple sin supuestos sobre la distribución generadora de datos [2], y su cobertura marginal aproximada adicional en la mayoría de los pasos de tiempo solo se cumple bajo la condición extra de que el distribution shift sea pequeño y el algoritmo de predicción tenga una forma simple especificada [2]. Un desarrollador debe rastrear qué condición aplica a la variante que despliegue, porque intercambiar una función de score diferente o un modelo subyacente diferente puede mover silenciosamente la garantía de una de estas condiciones a otra.

1. Definir las salidas de cuantiles brutos del modelo fundacional como el objeto a envolver: para cada símbolo, horizonte y timestamp, tomar q10, q50, q90 exactamente como se producen, coincidiendo con las columnas de la tabla forecasts. Estos cuantiles brutos son el baseline que debes superar tanto en cobertura como en ancho [1].
2. Elegir el nonconformity score. Para un pronóstico de cuantiles de dos lados, usar el score de conformal quantile regression S(X_t,y) = max(q(X_t;alpha/2) - y, y - q(X_t;1-alpha/2)) [2]. Este score es negativo cuando y está dentro de la banda y positivo en la magnitud de la violación cuando no lo está, coincidiendo con el requisito de que los scores online válidos estén orientados negativamente, con valores más bajos indicando mayor precisión [1].
3. Fijar alpha a la tasa de miscoverage deseada, por ejemplo 0.1 para una cobertura objetivo de 90%, e inicializar q_1 a un cuantil inicial razonable, como el cuantil empírico (1-alpha) de los scores de una ventana de calibración inicial.
4. En cada nuevo paso de tiempo t, formar el conjunto de predicción C_t = {y : s_t(x_t,y)
5. Actualizar q_t usando la regla conformal PID: q_{t+1} = q-hat_{t+1} + r_t * sum_{i=1}^{t}(err_i - alpha) [1]. Elegir qué términos de control incluir: quantile tracking solo (control proporcional, necesita scores acotados) [1] [1], error integration solo (control integral, sin supuesto de acotación) [1] [1], o ambos combinados como en la regla PID general [1].
6. Opcionalmente, agregar scorecasting: entrenar un segundo modelo para predecir el cuantil del siguiente score, de modo que la actualización pueda tener en cuenta tendencias sistemáticas del score ligadas a aspectos fijos o cambiantes de la distribución de datos [1]. Este segundo modelo puede ser tan simple como una regresión móvil de scores pasados sobre proxies de hora del día o volatilidad, ya que la afirmación solo especifica el mecanismo general, no una arquitectura específica.
7. Mantener el conjunto de calibración como el conjunto online de pares (X_r,Y_r) observados previamente, y calcular el cuantil ajustado Q-hat(p) como el ínfimo s tal que la fracción de pares de calibración con score como máximo s alcance p, aceptando un candidato y cuando su score sea como máximo Q-hat(1-alpha) [2]. Para datos de precios en streaming, decidir entre una ventana móvil de tamaño fijo o una ventana expansiva para este conjunto; las fuentes describen el conjunto de calibración como pares observados previamente pero no especifican una regla de actualización en streaming para datos de precios [2] [1].
8. Si se sospecha de exchangeability, lo cual siempre ocurre con precios en vivo, considerar weighted conformal prediction: reemplazar el cuantil empírico uniforme por un cuantil ponderado elegido para dar menos peso a puntos de calibración más antiguos o menos relevantes [8]. Notar de nuevo que ninguna fuente aquí da una implementación concreta en streaming para datos de precios, así que este esquema de ponderación debe ser diseñado y validado por el desarrollador, no copiado de una receta documentada [1].
9. Como wrapper alternativo o complementario, considerar Bellman Conformal Inference si la prioridad son las garantías de cobertura de largo plazo bajo cambios de distribución arbitrarios y dependencia temporal, ya que está diseñado exactamente para este entorno y se reporta que evita intervalos de longitud infinita [4] [4].
10. Medir dos cosas en cada horizonte (5 minutos, horario si se usa, diario): la tasa empírica de miscoverage de largo plazo, 1/T * sum(err_t), que debería aproximarse a alpha [1], y el ancho de intervalo promedio, el ancho de banda implícito de q_t, comparado contra el ancho de banda de cuantiles brutos del modelo fundacional como baseline.
11. Vigilar dos puntos de fallo comunes: intervalos infinitos o casi infinitos después de una racha de eventos de miscoverage, que quantile tracking está diseñado específicamente para evitar [1], y conjuntos de calibración obsoletos que ya no reflejan los regímenes de volatilidad actuales, que weighted conformal prediction y scorecasting están destinados a abordar de maneras diferentes [8] [1].
12. Reportar resultados honestamente: indicar el conjunto de datos benchmark exacto, el horizonte y el baseline usados para cada número de cobertura y ancho, siguiendo el patrón del único resultado industrial concreto disponible (95.6% de cobertura, reducción de ancho de 15.70% frente al mejor benchmark, sobre un conjunto de datos de sinterización) [5], y no afirmar un número de datos financieros a menos que se haya medido realmente sobre datos financieros OHLCV.

El script de abajo implementa la actualización de conformal PID control (término proporcional = quantile tracking, término integral = error integration) [1] sobre el score de conformal quantile regression [2], leyendo pronósticos de cuantiles brutos de la tabla forecasts y precios verdaderos de la tabla bars en data.sqlite. Construye un baseline sintético (la banda q10/q90 bruta del modelo, sin modificar) y lo compara contra la banda adaptada online en cobertura empírica y ancho de intervalo promedio. Si las tablas están vacías o faltan, genera internamente un pequeño conjunto de datos sintético para que el script siempre se ejecute de principio a fin en menos de tres minutos en una CPU. El baseline a superar es la propia cobertura y ancho de la banda de cuantiles brutos; el wrapper conformal debería acercarse más a la cobertura objetivo (1-alpha) mientras mantiene un ancho razonable. Verificar la corrección confirmando que la cobertura empírica impresa para el método envuelto está más cerca del objetivo que la cobertura del baseline bruto, y que tanto los números de cobertura como los de ancho se imprimen para comparación directa.

import os
import sqlite3
import numpy as np
import pandas as pd

# CLAIM B: conformal quantile regression score
# S(X_t, y) = max(q_lo(X_t) - y, y - q_hi(X_t))
def cqr_score(y, q_lo, q_hi):
    return max(q_lo - y, y - q_hi)

# CLAIM C, E: sequential conformal prediction set membership test
# a point y is inside the set if its score s_t(x_t, y) = len(ts_array):
                idx = len(ts_array) - 1
            actual_ts = ts_array[idx]
            if abs(actual_ts - target_ts) > max(r["horizon"], 1) * 5:
                continue
            y_true = close_array[idx]
            rows.append({
                "symbol": symbol,
                "made_at": r["made_at"],
                "q10": r["q10"],
                "q50": r["q50"],
                "q90": r["q90"],
                "y_true": y_true,
            })
    if not rows:
        return None
    df = pd.DataFrame(rows).sort_values(["symbol", "made_at"]).reset_index(drop=True)
    return df

def make_synthetic(n_per_symbol=400, seed=0):
    rng = np.random.default_rng(seed)
    symbols = ["AAPL", "MSFT", "BTC-USD"]
    rows = []
    for symbol in symbols:
        price = 100.0 if symbol != "BTC-USD" else 20000.0
        for t in range(n_per_symbol):
            drift = rng.normal(0, 0.001)
            price = price * (1.0 + drift)
            noise_scale = price * 0.01
            q50 = price + rng.normal(0, noise_scale * 0.2)
            half_width = abs(rng.normal(noise_scale, noise_scale * 0.3)) + 1e-6
            q10 = q50 - half_width
            q90 = q50 + half_width
            y_true = price + rng.normal(0, noise_scale)
            rows.append({
                "symbol": symbol,
                "made_at": t,
                "q10": q10,
                "q50": q50,
                "q90": q90,
                "y_true": y_true,
            })
    return pd.DataFrame(rows)

loaded = load_data(db_path)
if loaded is not None:
    forecasts, bars = loaded
    df = build_series(forecasts, bars)
    if df is None or len(df) = lo_raw) and (y = lo_wrapped) and (y