Cómo evitar el sobreajuste en los backtests de estrategias

Por qué un backtest excelente puede no significar nada — y cómo distinguir entre una ventaja real y una ilusión de sobreajuste a la curva.

Terminas el barrido, eliges el juego de parámetros con el Sharpe más alto, y la curva del backtest queda demasiado bonita para ser cierta. Cuando lo pones a correr de verdad, su rendimiento no se distingue del azar. Lo que pasó en medio tiene nombre.

¿Qué es el sobreajuste?

Una estrategia está sobreajustada cuando sus parámetros se han ajustado con tanta precisión a los datos históricos que la estrategia, en esencia, está memorizando el pasado en lugar de aprender una regla generalizable. Se ve excepcional en el backtest y rinde mal — o de forma aleatoria — al operar en real.

El sobreajuste no siempre es intencional. Ocurre de forma natural cuando:

• Haces un barrido de muchas combinaciones de parámetros y eliges la que tiene el Sharpe más alto
• Modificas la estrategia después de ver los resultados del backtest y luego la vuelves a probar con los mismos datos
• Añades condiciones específicamente para evitar los períodos de pérdidas que ves en el gráfico
• Usas un período de backtest corto en el que una combinación de parámetros afortunada rinde mejor por pura casualidad

La trampa del barrido de parámetros

Supón que haces un barrido de 100 combinaciones de parámetros. Incluso si tu estrategia no tiene ninguna ventaja, algunas combinaciones producirán un Sharpe positivo solo por casualidad — aproximadamente 5 de cada 100 con un nivel de significancia del 5%. Si eliges la mejor y la presentas como el rendimiento de tu estrategia, estás presentando ruido como si fuera señal.

Este problema empeora cuantos más parámetros barres. Una estrategia con 2 parámetros independientes en una cuadrícula de 20×20 tiene 400 combinaciones. Una estrategia con 4 parámetros en una cuadrícula de 10×10×10×10 tiene 10,000. Cada dimensión adicional multiplica la probabilidad de toparte con un pico afortunado.

El pico frente a la meseta

La técnica práctica más importante para evitar el sobreajuste es no elegir el pico.

Observa un mapa de calor de Sharpe de un barrido de parámetros. La mejor celda absoluta podría mostrar un Sharpe de 1.8. Un paso a la izquierda: 0.4. Un paso hacia arriba: 0.3. Ese pico es frágil — existe porque la combinación exacta de parámetros resultó ajustarse a unos pocos eventos de mercado específicos en tus datos de entrenamiento.

En su lugar, busca la meseta: la región donde el Sharpe es consistentemente alto en muchas combinaciones de parámetros vecinas. Si el Sharpe es de 1.2 en un vecindario de 3×3 de valores de parámetros, eso es una señal robusta — la ventaja existe en un rango de parámetros, no solo en un punto específico.

# Blave Agent's find_plateau: picks the neighborhood with the
# highest average Sharpe in a 3×3 window around each cell —
# not the single maximum cell.
best_idx = argmax(neighborhood_average_sharpe)

Por eso el script de barrido de parámetros — el scan.py que vive en la carpeta de cada estrategia — usa find_plateau en lugar de simplemente tomar el mejor Sharpe. Es mucho más probable que un conjunto de parámetros situado sobre una meseta suave se generalice bien, en comparación con uno situado en un pico agudo rodeado de mal rendimiento.

In-sample frente a out-of-sample

La única forma válida de medir el rendimiento real de una estrategia es probarla con datos que nunca ha visto. Si optimizas los parámetros usando datos de 2020–2023 y luego evalúas en 2024, el rendimiento de 2024 es una estimación genuina out-of-sample.

Si optimizas con 2020–2024 y presentas el rendimiento de 2020–2024: eso es in-sample. Aunque no hayas tenido la intención de sobreajustar, el proceso de optimización usó implícitamente los resultados de 2020–2024 para seleccionar los parámetros. El Sharpe presentado incluye el beneficio de la retrospectiva.

Rangos de barrido que evitan los extremos

Otra trampa común de sobreajuste es barrer todo el rango de valores posibles de los parámetros, incluidos los extremos que resultan producir un Sharpe alto en un período histórico inusual.

Blave Agent usa un enfoque distinto para las estrategias basadas en umbrales: deriva el rango de barrido de la propia distribución del indicador. Toma el p5 y el p95 de la distribución histórica del indicador como los dos extremos, y el punto medio aritmético de ambos — no la mediana — como divisoria; los candidatos de entrada caen en la mitad superior (del punto medio al p95) y los de salida en la mitad inferior (del p5 al punto medio). Esto mantiene ambos umbrales anclados en rangos de datos observados, evitando extremos obviamente poco realistas.

Señales de que tu estrategia está sobreajustada

¿Cuántos parámetros son demasiados?

No hay un límite universal, pero sí un principio útil: cada parámetro libre adicional debe tener una razón previa para existir en la lógica de la estrategia. No añadas un parámetro porque te permita ajustar mejor los datos — añádelo porque representa una dimensión genuina del mecanismo de mercado que estás explotando.

Una estrategia con dos parámetros que representan conceptos significativos (una ventana de señal rápida y una ventana de confirmación lenta, por ejemplo) es más defendible que una estrategia de seis parámetros en la que varios de los parámetros se añadieron para "eliminar" períodos de pérdidas específicos visibles en el gráfico.

De qué no te salvan estas prácticas

• La selección por meseta atiende a si la celda que elegiste es suerte; no atiende a si la estrategia tiene ventaja siquiera. Derivar el rango de barrido de la distribución es igual: solo evita que pruebes extremos que apenas ocurrieron en la historia, no convierte una regla sin ventaja en una que la tenga.
• La tabla de dentro de muestra / fuera de muestra de arriba es un juicio de nivel conceptual. A nivel de producto hay que añadir una frase: en Blave no existe el ajuste «reservar el 30% como conjunto de prueba», la única herramienta fuera de muestra es el walk-forward rolling de la quinta pestaña del espacio de trabajo, y sus dos casillas se rellenan en días. Lo que valida no es lo mismo que una división simple: véase Cómo funciona la validación fuera de muestra: por qué aquí no hay «reservar el 30%».
• Hay otra pregunta que este artículo no responde: aunque pase fuera de muestra, ¿ese registro es suerte? Ese es el trabajo de un test de significancia: véase ¿El backtest gana por habilidad o por suerte? Cómo leer el valor p de MCPT. Fuera de muestra y significancia no preguntan lo mismo, y tampoco hay garantía de que las dos herramientas te den la misma respuesta.