regresión de todos los subconjuntos posibles – all-possible-subsets regression

Regresión de Todos los Subconjuntos Posibles (All-Possible-Subsets Regression)

Primary Disciplinary Field(s): Estadística, Econometría, Aprendizaje Automático (Machine Learning)

1. Definición Fundamental y Objetivo

La técnica de la regresión de todos los subconjuntos posibles es un método exhaustivo y riguroso empleado en el ámbito de la regresión lineal múltiple, cuyo objetivo primordial es identificar el modelo predictivo óptimo mediante la evaluación sistemática de todas las combinaciones posibles de variables predictoras disponibles. Cuando un investigador dispone de $K$ variables independientes potenciales, este método implica ajustar y analizar $2^K$ modelos de regresión distintos (incluyendo el modelo nulo que solo contiene el intercepto). Este enfoque contrasta fuertemente con métodos heurísticos o secuenciales (como la regresión escalonada), ya que garantiza que se encuentre el mejor modelo posible bajo un criterio de selección predefinido, sin riesgo de quedar atrapado en óptimos locales.

El propósito subyacente de esta metodología radica en la búsqueda de la parsimonia. Un modelo parsimonioso es aquel que logra el equilibrio más deseable entre la precisión predictiva y la simplicidad interpretativa. La inclusión de demasiadas variables, incluso si algunas tienen poca o nula relación con la variable dependiente, puede llevar al fenómeno del sobreajuste (overfitting), donde el modelo se ajusta demasiado bien al ruido específico de la muestra de datos, perdiendo capacidad de generalización a nuevos datos. Por otro lado, excluir variables relevantes produce un modelo subespecificado y sesgado. La regresión de todos los subconjuntos aborda este dilema al proporcionar un marco para comparar rigurosamente modelos de diferentes complejidades.

Es crucial entender que la “optimización” alcanzada por este método es relativa al conjunto de datos y al criterio de bondad de ajuste seleccionado. No existe un único modelo “verdadero” en la práctica, sino aquel que mejor satisface las necesidades del analista, ya sea minimizando el error de predicción, maximizando la significación estadística de los coeficientes, o logrando la mejor combinación de ambos. Por lo tanto, el proceso no concluye con la generación de los $2^K$ modelos, sino con la interpretación y comparación de sus métricas asociadas para la selección final.

2. El Problema de la Selección de Variables en Modelos de Regresión

La selección adecuada de las variables predictoras es quizás el desafío más crítico en la construcción de modelos de regresión. Cuando un conjunto de datos es rico en potenciales predictores, el investigador se enfrenta a la disyuntiva de decidir qué variables incluir para obtener un modelo que sea tanto explicativo como robusto. Si se incluyen variables irrelevantes, se incrementa la varianza de los estimadores (haciéndolos menos precisos), se dificulta la interpretación de los coeficientes y se aumenta la probabilidad de multicolinealidad, un fenómeno donde las variables predictoras están altamente correlacionadas entre sí.

Históricamente, los estadísticos han recurrido a métodos secuenciales, como la eliminación hacia atrás (backward elimination) o la adición hacia adelante (forward selection). Estos métodos son computacionalmente eficientes, pero son inherentemente “codiciosos” (greedy), ya que las decisiones tomadas en etapas tempranas no se revisan. Por ejemplo, la adición hacia adelante podría omitir la mejor combinación de tres variables si esta combinación no incluye la mejor variable individual seleccionada en el primer paso. El principal defecto de estos enfoques secuenciales es que no exploran todo el espacio de modelos posibles y, por lo tanto, no garantizan la identificación del subconjunto óptimo.

La necesidad de un método exhaustivo como la regresión de todos los subconjuntos surgió precisamente para superar las limitaciones de los métodos secuenciales. Al evaluar cada subconjunto, el analista puede estar seguro de que, si existe una combinación de predictores que produce un ajuste superior (según el criterio métrico elegido), esta combinación será identificada. Esto es especialmente valioso en la investigación académica y en campos donde la identificación precisa de los factores causales o predictivos es de suma importancia, y donde la penalización por error de especificación es alta.

3. Algoritmo y Mecánica Operacional

El proceso operativo de la regresión de todos los subconjuntos es conceptualmente simple pero computacionalmente intensivo. Si $K$ es el número total de variables predictoras disponibles (excluyendo la variable dependiente $Y$), el algoritmo genera sistemáticamente todos los $2^K$ modelos. Este proceso comienza con el modelo más simple (el modelo nulo, con cero predictores), avanza a los modelos con un predictor ($K$ modelos), luego a los modelos con dos predictores ($binom{K}{2}$ modelos), y así sucesivamente, hasta el modelo completo con los $K$ predictores.

Para cada uno de los $2^K$ modelos ajustados, el algoritmo calcula una serie de estadísticas de resumen y métricas de bondad de ajuste. Estas métricas son esenciales, ya que un simple estadístico $R^2$ (coeficiente de determinación) no es suficiente, dado que el $R^2$ siempre aumenta o se mantiene igual a medida que se añaden más predictores, independientemente de su relevancia. Por lo tanto, se utilizan métricas penalizadas que castigan la complejidad del modelo (el número de variables incluidas).

Una vez que se han ajustado y evaluado todos los modelos, el analista procede a la etapa de selección. Esta etapa generalmente implica la visualización de los resultados, a menudo graficando las métricas clave (como el Criterio $C_p$ de Mallow o el AIC) en función del número de predictores. El objetivo final es seleccionar un pequeño conjunto de modelos que se consideran “candidatos fuertes”, que son aquellos que presentan el mejor equilibrio entre el ajuste a los datos y la penalización por complejidad, antes de tomar la decisión final basada en la significación teórica y la interpretabilidad de los coeficientes.

4. Criterios de Evaluación y Métrica de Bondad de Ajuste

La clave para el éxito de la regresión de todos los subconjuntos no reside en la generación exhaustiva de modelos, sino en la aplicación de criterios de evaluación robustos que permitan una comparación justa entre modelos de diferentes tamaños. Estos criterios están diseñados para estimar el error de predicción del modelo en una nueva muestra, penalizando la inclusión de parámetros innecesarios.

Uno de los criterios más utilizados es el Criterio $C_p$ de Mallow. Este estadístico es una estimación del error cuadrático medio de predicción estandarizado total y se utiliza para identificar modelos en los que el sesgo debido a la exclusión de variables es mínimo. Idealmente, un modelo bien ajustado tendrá un valor de $C_p$ que es aproximadamente igual al número de parámetros en el modelo (incluyendo el intercepto). Los modelos con $C_p$ significativamente mayor que el número de parámetros indican un sesgo sustancial (variables importantes omitidas), mientras que modelos con $C_p$ muy por debajo pueden indicar sobreajuste o un modelo completo que es demasiado grande.

Otros criterios fundamentales son el Criterio de Información de Akaike (AIC) y el Criterio de Información Bayesiano (BIC). Ambos se basan en la teoría de la información y buscan cuantificar la pérdida de información del modelo. El AIC se define como $-2log(L) + 2p$, donde $L$ es la máxima verosimilitud y $p$ es el número de parámetros. El BIC impone una penalización más fuerte por la complejidad que el AIC, especialmente en muestras grandes, ya que utiliza $log(n)$ en lugar de 2 como factor de penalización. La elección entre AIC y BIC a menudo depende del objetivo: AIC tiende a seleccionar modelos más grandes y es mejor para la predicción, mientras que BIC tiende a seleccionar modelos más pequeños y es mejor para la identificación del modelo “verdadero” (si se asume que existe).

Finalmente, el $R^2$ Ajustado también es una métrica de uso frecuente. A diferencia del $R^2$ simple, el $R^2$ ajustado penaliza la inclusión de variables que no mejoran sustancialmente el ajuste, ya que divide el error residual por los grados de libertad. Aunque es una métrica intuitiva, los criterios $C_p$, AIC y BIC suelen ser preferidos en la regresión de todos los subconjuntos por su base teórica más sólida en la estimación del error de predicción fuera de la muestra.

5. Ventajas y Limitaciones Computacionales

La principal y más significativa ventaja de la regresión de todos los subconjuntos es su optimidad garantizada. Al ser un método de búsqueda exhaustiva, elimina la dependencia de heurísticas y la posibilidad de pasar por alto el mejor subconjunto de predictores, proporcionando una base sólida para la inferencia estadística, siempre que el número de variables sea manejable. Esta garantía de encontrar el modelo óptimo es crucial cuando se requiere la máxima precisión o cuando la validación de un modelo teórico específico es el objetivo principal.

Sin embargo, esta fortaleza es también su principal debilidad: la explosión combinatoria. El número de modelos a evaluar crece exponencialmente ($2^K$). Si el número de predictores potenciales $K$ es pequeño (por ejemplo, $K leq 10$), el proceso es trivialmente rápido. Pero si $K$ aumenta, el problema se vuelve rápidamente intratable. Por ejemplo, si $K=20$, hay más de un millón de modelos; si $K=30$, el número supera los mil millones. Este crecimiento exponencial clasifica el problema de la regresión de todos los subconjuntos como un problema de la clase NP-difícil, lo que significa que el tiempo de cálculo requerido para la solución exacta crece más rápido que cualquier función polinómica de $K$.

Dada esta limitación, en la práctica moderna, la regresión de todos los subconjuntos se reserva para conjuntos de datos con un número de variables predictoras relativamente bajo. Cuando $K$ es grande (por ejemplo, cientos o miles de variables, común en bioinformática o finanzas), el uso de este método es imposible. En estos escenarios, los investigadores deben recurrir a métodos de búsqueda más eficientes, como algoritmos de ramificación y acotamiento (branch and bound), que pueden encontrar el subconjunto óptimo sin evaluar explícitamente todos los modelos, o a técnicas de regularización.

6. Alternativas a la Regresión de Todos los Subconjuntos

Debido a las severas restricciones computacionales que impone la regresión de todos los subconjuntos para problemas de alta dimensionalidad, se han desarrollado varias alternativas que buscan un equilibrio entre la eficiencia computacional y la calidad del modelo seleccionado. Estas alternativas se dividen generalmente en métodos heurísticos y métodos de penalización.

Los métodos de búsqueda secuencial (regresión escalonada, hacia adelante o hacia atrás) son las alternativas históricas más comunes. Aunque son rápidos, su principal limitación, como se mencionó, es que no garantizan la optimidad global. Por ejemplo, la adición hacia adelante solo agrega la variable que más reduce el error en cada paso, sin revisar si una variable previamente incluida se vuelve redundante. Estos métodos son útiles para una exploración rápida, pero deben usarse con cautela debido a su naturaleza subóptima.

Una clase de alternativas mucho más poderosa y moderna son los métodos de regularización, también conocidos como regresiones penalizadas. Estos métodos no eliminan variables del modelo, sino que reducen la magnitud de los coeficientes de las variables menos importantes, llegando incluso a forzar que algunos coeficientes sean exactamente cero (lo que equivale a la selección de variables). Los ejemplos más prominentes son la Regresión Lasso (Least Absolute Shrinkage and Selection Operator) y la Regresión Ridge. El Lasso es particularmente popular porque realiza simultáneamente la estimación de coeficientes y la selección de variables, proporcionando una solución computacionalmente factible y robusta incluso cuando $K$ es mucho mayor que el número de observaciones ($n$).

Finalmente, para problemas donde $K$ es grande pero no prohibitivo, los algoritmos de ramificación y acotamiento (branch and bound) ofrecen una solución exacta. Estos algoritmos exploran el espacio de modelos de manera inteligente, podando ramas del árbol de búsqueda que se sabe que no contendrán el modelo óptimo, basándose en la cota superior del error. Esto permite la identificación del mejor subconjunto sin tener que ajustar explícitamente todos los $2^K$ modelos.

7. Aplicaciones Prácticas y Conclusión

A pesar de sus limitaciones computacionales, la regresión de todos los subconjuntos sigue siendo una herramienta fundamental en escenarios específicos. Su uso prevalece en la econometría y la investigación social, donde el número de variables explicativas suele ser limitado (típicamente $K < 20$) y la interpretabilidad y la validez teórica del modelo son más importantes que la velocidad de cálculo. En estos campos, la garantía de haber encontrado el modelo más parsimonioso y predictivo es un requisito metodológico importante.

También se utiliza como método de referencia (benchmark) para validar la eficacia de los métodos secuenciales o penalizados. Si un nuevo algoritmo de selección de variables produce resultados muy diferentes de los identificados por la regresión de todos los subconjuntos (aplicada a un subconjunto de $K$ pequeño), esto puede indicar fallas en la lógica del nuevo algoritmo. Por lo tanto, actúa como un estándar de oro en la selección de modelos cuando la exhaustividad es viable.

En resumen, la regresión de todos los subconjuntos posibles es una metodología estadística que representa el ideal de la selección de modelos: una búsqueda exhaustiva que garantiza la identificación del subconjunto óptimo de predictores según una métrica de bondad de ajuste penalizada. Si bien su viabilidad está estrictamente limitada por la dimensionalidad del problema, su rigor conceptual y su capacidad para establecer un punto de referencia de calidad la mantienen como una técnica central en el arsenal del modelado predictivo y explicativo.

Further Reading

• Regresión Lineal Múltiple (Wikipedia en español)
• Mallows’s Cp (Wikipedia en inglés)
• Criterio de Información de Akaike (AIC) (Wikipedia en español)
• Regresión de Lasso (Wikipedia en español)
• Montgomery, D. C., Peck, E. A., & Vining, G. G. (2021). Introduction to Linear Regression Analysis. Wiley.