BIC – BIC

Criterio de Información Bayesiano (BIC)

Campo(s) Disciplinario(s) Primario(s): Estadística, Aprendizaje Automático, Econometría, Modelado Predictivo.

1. Definición Central

El Criterio de Información Bayesiano, universalmente conocido por su acrónimo BIC (del inglés Bayesian Information Criterion) o a veces denominado Criterio de Schwarz en honor a su proponente, Gideon E. Schwarz, constituye una herramienta fundamental en la estadística inferencial y el aprendizaje automático para la selección de modelos. Su propósito principal es proporcionar un mecanismo para comparar diferentes modelos estadísticos que han sido ajustados al mismo conjunto de datos, penalizando la complejidad para evitar el sobreajuste (overfitting). A diferencia de los métodos de validación cruzada que requieren la partición de datos, el BIC es un criterio de penalización de la verosimilitud (likelihood-based criterion) que equilibra la bondad del ajuste del modelo con el número de parámetros utilizados. Cuanto menor sea el valor del BIC para un modelo, mayor será la evidencia a favor de dicho modelo, indicando un equilibrio superior entre parsimonia y poder explicativo.

Formalmente, el BIC se deriva de una aproximación asintótica de la evidencia bayesiana (marginal likelihood) del modelo, bajo ciertas suposiciones, especialmente que la distribución a priori de los parámetros es relativamente plana. Este origen bayesiano le confiere propiedades deseables, como la consistencia, lo que implica que, dado un tamaño de muestra suficientemente grande, el BIC seleccionará el modelo verdadero si este se encuentra dentro del conjunto de modelos candidatos. Esta consistencia es una característica distintiva y poderosa que lo diferencia de otros criterios de selección, como el Criterio de Información de Akaike (AIC). La fórmula del BIC incorpora dos componentes esenciales: el logaritmo de la verosimilitud maximizada, que mide qué tan bien el modelo explica los datos, y un término de penalización que es una función creciente tanto del número de parámetros libres del modelo como del tamaño de la muestra.

La interpretación práctica del BIC reside en su capacidad de cuantificar la pérdida de información relativa cuando se utiliza un modelo dado para aproximar el proceso generador de datos. En esencia, al evaluar modelos, el BIC busca la simplicidad. Un modelo que logra una bondad de ajuste similar a la de un modelo más complejo, pero utilizando menos parámetros, será fuertemente favorecido por el BIC. Esta insistencia en la parsimonia es crucial en campos donde la interpretabilidad y la estabilidad del modelo son tan importantes como la precisión predictiva, como la econometría o las ciencias sociales. El valor absoluto del BIC carece de significado por sí mismo; solo su valor relativo cuando se compara con otros modelos candidatos es relevante para la toma de decisiones.

2. Contexto Histórico y Origen

El Criterio de Información Bayesiano fue propuesto por el matemático y estadístico israelí Gideon E. Schwarz en un artículo seminal de 1978, titulado “Estimating the dimension of a model”. La motivación detrás de su desarrollo radicaba en la necesidad de establecer un principio sólido y formalmente derivado para la selección de modelos que pudiera integrarse dentro del marco de la inferencia bayesiana, proveyendo una alternativa rigurosa al entonces popular Criterio de Información de Akaike (AIC), introducido unos años antes. Schwarz buscaba una justificación teórica que asegurara que el criterio convergiera hacia la identificación del modelo verdadero a medida que el tamaño de la muestra aumentaba, una propiedad conocida como consistencia.

La derivación del BIC se basa en la aproximación de Laplace de la integral que define la evidencia marginal del modelo, $P(D|M)$, donde $D$ son los datos y $M$ es el modelo. En la inferencia bayesiana, la selección de modelos se realiza eligiendo el modelo con la mayor probabilidad posterior $P(M|D)$, que es proporcional a la evidencia marginal $P(D|M)$. Schwarz demostró que, asintóticamente (es decir, para grandes tamaños de muestra $n$), el logaritmo de la evidencia marginal puede aproximarse mediante una expresión que incluye el logaritmo de la verosimilitud maximizada y un término de penalización que depende del logaritmo del tamaño de la muestra. Esta aproximación fue fundamental, ya que permitió calcular un valor que se relaciona directamente con la probabilidad posterior del modelo sin la necesidad de integrar sobre el espacio de parámetros, una tarea computacionalmente intensiva.

El contexto de finales de la década de 1970 estaba marcado por el auge de los modelos complejos y la creciente capacidad computacional, lo que hacía imperativo el desarrollo de criterios objetivos para gestionar la compensación entre el ajuste del modelo y su complejidad. Mientras que el AIC se enfocaba en minimizar la pérdida de información (distancia de Kullback-Leibler) y apuntaba a la optimización predictiva, el BIC, con su raíz bayesiana, se orientó hacia la identificación del modelo subyacente “verdadero” o generador de datos. Este contraste en objetivos —predicción óptima versus identificación del modelo verdadero— estableció una dicotomía importante en la teoría de la selección de modelos que persiste hasta hoy.

3. Formulación Matemática Detallada

La expresión matemática estándar del Criterio de Información Bayesiano, tal como fue propuesta por Schwarz, se define generalmente de la siguiente manera:

$$BIC = -2 cdot ln(hat{L}) + k cdot ln(n)$$

Donde:

• $ln(hat{L})$ representa el logaritmo natural de la verosimilitud maximizada del modelo candidato. Este término cuantifica la bondad del ajuste del modelo a los datos observados. Un valor de verosimilitud más alto (y por lo tanto, un valor de $-2 cdot ln(hat{L})$ más bajo) indica un mejor ajuste.
• $k$ es el número de parámetros libres (o grados de libertad) que deben estimarse dentro del modelo. Este término representa la complejidad del modelo.
• $n$ es el número de observaciones en el conjunto de datos, es decir, el tamaño de la muestra.

El primer término, $-2 cdot ln(hat{L})$, es conocido como la desviación (devianza) y es común a muchos criterios de selección basados en la verosimilitud. El segundo término, $k cdot ln(n)$, es el término de penalización característico del BIC. Es crucial observar que la penalización no solo depende del número de parámetros $k$, sino que también escala con el logaritmo del tamaño de la muestra $ln(n)$. Dado que $ln(n)$ crece más lentamente que $n$, pero siempre es positivo para $n > 1$, la penalización impuesta por el BIC aumenta significativamente a medida que el tamaño de la muestra crece. Esta característica es la que asegura la propiedad de consistencia del BIC.

Para entender la severidad de la penalización, se puede comparar con el AIC, cuya penalización es simplemente $2k$. Como $ln(n) > 2$ para $n ge 8$, el BIC impone una penalización más fuerte sobre la complejidad que el AIC cuando el tamaño de la muestra es moderado o grande. Esta penalización más severa tiene el efecto de favorecer modelos mucho más parsimoniosos, especialmente en escenarios de Big Data, donde $n$ es muy grande. La selección se realiza eligiendo el modelo que minimice el valor de BIC.

4. Interpretación y Principios Operacionales

La aplicación del BIC en la práctica opera bajo el principio de que los modelos deben ser penalizados por su complejidad de una manera que refleje la incertidumbre inherente a la estimación de parámetros adicionales. El principio operacional clave es la minimización: se prefiere el modelo con el valor de BIC más bajo. Esta minimización implica que el modelo seleccionado debe ser el que mejor equilibre la reducción en la desviación (mejora en el ajuste) contra el aumento en la penalización por complejidad.

Una de las interpretaciones más poderosas del BIC proviene de su conexión directa con los factores de Bayes. Si se tienen dos modelos, $M_1$ y $M_2$, la diferencia en sus valores de BIC, $Delta BIC = BIC_2 – BIC_1$, proporciona una aproximación al logaritmo del factor de Bayes, $BF_{12}$, que es la razón de las probabilidades marginales $P(D|M_1) / P(D|M_2)$. Específicamente, $Delta BIC approx -2 ln(BF_{12})$. Esta relación permite interpretar las diferencias de BIC en términos de la fuerza de la evidencia bayesiana. Una diferencia de BIC de 2 a 6 se considera evidencia positiva, de 6 a 10 evidencia fuerte, y mayor a 10 evidencia muy fuerte a favor del modelo con el BIC más bajo.

En el proceso de modelado, el uso del BIC guía al analista a través de una búsqueda iterativa. Se ajustan múltiples modelos (por ejemplo, regresiones con diferentes conjuntos de variables, o modelos de series de tiempo con órdenes distintas) al mismo conjunto de datos. Para cada modelo, se calcula el BIC. El modelo que arroja el valor mínimo es seleccionado como el más probable de ser el modelo verdadero o, al menos, el que ofrece el mejor compromiso entre ajuste y parsimonia. Es importante destacar que el BIC solo es válido para la comparación de modelos anidados o no anidados que se basan en la misma distribución de probabilidad de los datos y se ajustan a la misma muestra.

5. Relación con AIC y Otros Criterios

El BIC es frecuentemente comparado con el Criterio de Información de Akaike (AIC), que es quizás su competidor más directo y conocido. Mientras que ambos son criterios de penalización de la verosimilitud y buscan minimizar el sobreajuste, difieren fundamentalmente en su objetivo y en la severidad de la penalización. El AIC tiene como objetivo seleccionar el modelo que minimice la pérdida de información (distancia de Kullback-Leibler) y, por lo tanto, es óptimo para la predicción. Su fórmula es $AIC = -2 ln(hat{L}) + 2k$.

La principal diferencia reside en el término de penalización: $k cdot ln(n)$ para BIC versus $2k$ para AIC. Como se mencionó, para $n ge 8$, $ln(n) > 2$, lo que significa que el BIC penaliza la complejidad de manera mucho más estricta que el AIC. Esto tiene consecuencias directas en la selección de modelos: el BIC tiende a seleccionar modelos más simples (más parsimoniosos) que el AIC. Si el objetivo del análisis es encontrar el modelo “verdadero” subyacente (consistencia), el BIC es teóricamente superior. Si el objetivo es obtener el modelo con el mejor rendimiento predictivo, el AIC o su variante corregida (AICc) podrían ser preferibles, ya que el AIC es asintóticamente eficiente.

Otros criterios de selección incluyen el AIC corregido (AICc), diseñado para muestras pequeñas, y el Criterio de Información de Desviación (DIC), utilizado en el contexto de la inferencia bayesiana mediante métodos MCMC (Monte Carlo de Cadena de Markov). El BIC se distingue de estos porque su fuerte base bayesiana y la dependencia del tamaño de la muestra en su penalización lo consolidan como el criterio preferido cuando la meta es la identificación del modelo subyacente y cuando se manejan grandes conjuntos de datos. La elección entre BIC y AIC a menudo refleja una elección filosófica entre la parsimonia y la precisión predictiva.

6. Ventajas y Desventajas Metodológicas

El BIC ofrece varias ventajas metodológicas significativas. La más notable es su propiedad de consistencia. Si el modelo verdadero es parte del conjunto de modelos candidatos, el BIC garantiza que, a medida que el tamaño de la muestra $n$ se acerca al infinito, la probabilidad de seleccionar el modelo verdadero converge a uno. Esta es una característica extremadamente valiosa en la investigación científica donde el objetivo es la identificación de la estructura causal subyacente. Además, su derivación a partir de la aproximación de la evidencia marginal bayesiana proporciona una justificación teórica sólida que permite interpretar las comparaciones de BIC directamente en términos de probabilidades posteriores del modelo.

No obstante, el BIC también presenta desventajas y limitaciones importantes. En primer lugar, la consistencia es una propiedad asintótica, lo que significa que en muestras pequeñas o moderadas, el BIC puede favorecer modelos demasiado simples (subajuste o underfitting), ya que la penalización $ln(n)$ puede ser excesivamente severa. En segundo lugar, el BIC asume que la distribución de la verosimilitud es aproximadamente normal y que la distribución a priori de los parámetros es relativamente no informativa (plana), supuestos que pueden no ser válidos en todos los contextos de modelado.

Una limitación crucial es que el BIC está diseñado para la selección de modelos en el contexto de la búsqueda del “modelo verdadero”. Si el modelo verdadero no se encuentra dentro del conjunto de modelos candidatos (lo cual es común en la práctica), la consistencia del BIC pierde su significado. En tales escenarios, donde todos los modelos son aproximaciones, el AIC, que busca la mejor aproximación predictiva, podría ser más apropiado. Finalmente, el BIC es sensible a la forma en que se define el tamaño de la muestra $n$, lo que puede ser ambiguo en el contexto de datos complejos como modelos jerárquicos o datos de series de tiempo.

7. Aplicaciones Disciplinares Clave

Debido a su énfasis en la parsimonia y la consistencia, el BIC es ampliamente utilizado en disciplinas donde la interpretabilidad y la estructura del modelo son primordiales, y donde los tamaños de muestra tienden a ser grandes.

En econometría y finanzas, el BIC se utiliza para la selección de variables en modelos de regresión lineal múltiple, la determinación del orden de modelos de series de tiempo (como ARIMA o GARCH) y la comparación de modelos estructurales. Dado que los conjuntos de datos económicos a menudo tienen cientos o miles de observaciones, la fuerte penalización del BIC ayuda a prevenir la inclusión de variables irrelevantes, lo que conduce a modelos más estables y económicamente interpretables.

En el campo del aprendizaje automático y la minería de datos, aunque el AIC y la validación cruzada son dominantes para la optimización predictiva, el BIC se emplea en tareas de modelado donde se requiere inferencia causal o estructural, como la selección de la estructura óptima en redes bayesianas o la determinación del número de clusters en algoritmos de agrupamiento basados en modelos de mezcla.

Finalmente, en biología y genética, el BIC es una herramienta estándar para la selección de modelos evolutivos y filogenéticos, y para determinar el número óptimo de componentes en modelos de genética de poblaciones. La necesidad de aislar el modelo que mejor describe los procesos biológicos subyacentes hace que la consistencia del BIC sea particularmente valiosa en estos campos.

8. Críticas y Debates Actuales

A pesar de su aceptación generalizada, el BIC sigue siendo objeto de debate en la comunidad estadística. Una crítica recurrente se centra en la validez de sus supuestos asintóticos. La derivación del BIC depende de que el tamaño de la muestra $n$ sea lo suficientemente grande para que la aproximación de Laplace sea precisa. En muestras pequeñas, esta aproximación puede fallar, haciendo que el BIC no sea confiable. En estos casos, el AICc o métodos bayesianos exactos que no dependen de aproximaciones asintóticas son a menudo preferidos.

Otro debate importante gira en torno a la filosofía de la selección de modelos: ¿debería buscarse el modelo “verdadero” (favoreciendo el BIC) o la mejor aproximación predictiva (favoreciendo el AIC)? Muchos estadísticos argumentan que en la mayoría de las ciencias aplicadas, ningún modelo es verdaderamente “verdadero” (el principio de “todos los modelos están equivocados, pero algunos son útiles” de George Box). Bajo esta perspectiva, el BIC podría ser demasiado restrictivo, seleccionando modelos excesivamente simples que sacrifican una capacidad predictiva importante.

Además, el término de penalización $k cdot ln(n)$ puede ser problemático cuando se aplica a modelos muy complejos o de alta dimensionalidad, donde el número de parámetros $k$ es comparable al tamaño de la muestra $n$. En estos escenarios modernos, se han desarrollado extensiones y alternativas, como el BIC extendido o criterios que incorporan penalizaciones adaptativas, buscando mantener la consistencia sin sacrificar excesivamente la capacidad de ajuste en entornos de datos complejos.

9. Cálculo e Implementación Práctica

La implementación práctica del BIC es relativamente sencilla, ya que la mayoría de los paquetes estadísticos modernos (como R, Python, SAS, Stata) proporcionan el valor de la verosimilitud logarítmica maximizada ($ln(hat{L})$) y el número de parámetros ($k$) como salidas estándar de cualquier procedimiento de ajuste de modelos.

El flujo de trabajo típico de implementación implica:

1. Definir un conjunto de modelos candidatos ($M_1, M_2, dots, M_m$) que se ajustarán a los mismos datos.
2. Ajustar cada modelo y registrar su verosimilitud logarítmica maximizada ($ln(hat{L}_i)$), el número de parámetros ($k_i$) y el tamaño de la muestra ($n$).
3. Calcular $BIC_i$ para cada modelo utilizando la fórmula $BIC_i = -2 cdot ln(hat{L}_i) + k_i cdot ln(n)$.
4. Seleccionar el modelo $M_{min}$ tal que $BIC_{min} = min(BIC_1, dots, BIC_m)$.

Es fundamental asegurarse de que el cálculo de $k$ sea correcto, ya que debe incluir todos los parámetros libres estimados, incluyendo varianzas o términos de error, dependiendo de la estructura del modelo. Una implementación incorrecta del número de parámetros es una fuente común de errores en la aplicación del BIC. Además, la comparación solo es válida si las variables dependientes son idénticas y si los modelos se ajustan a exactamente la misma porción de los datos.

10. Lectura Adicional

• Bayesian information criterion (Wikipedia)
• Schwarz, G. (1978). Estimating the dimension of a model. The Annals of Statistics.
• Akaike information criterion (Wikipedia)