Problema de Behrens-Fisher – Behrens–Fisher problem
- Problema de Behrens–Fisher
- 1. Definición Central y Contexto
- 2. Orígenes Históricos: Behrens y Fisher
- 3. Formulación Matemática del Problema
- 4. La Solución de Welch y la Aproximación de Satterthwaite
- 5. Implicaciones en la Inferencia Estadística
- 6. El Debate Filosófico: Frecuentismo vs. Bayesianismo
- 7. Críticas y Limitaciones de las Soluciones Propuestas
- Lecturas Adicionales
Problema de Behrens–Fisher
Primary Disciplinary Field(s): Estadística; Inferencia Estadística
1. Definición Central y Contexto
El problema de Behrens–Fisher constituye uno de los desafíos más antiguos y debatidos en la teoría de la inferencia estadística. Este concepto se refiere específicamente a la tarea de realizar una prueba de hipótesis o construir un intervalo de confianza para la diferencia entre las medias de dos poblaciones normales independientes, cuando las varianzas de dichas poblaciones son desconocidas y, crucialmente, se asume que son desiguales. La dificultad intrínseca radica en que, bajo la suposición de varianzas desiguales, la distribución muestral de la estadística de prueba ya no sigue una distribución t de Student estándar, lo que complica significativamente la determinación de los valores críticos exactos necesarios para controlar el error de Tipo I.
La importancia de este problema es palpable en la práctica científica, ya que la suposición de igualdad de varianzas (homocedasticidad), necesaria para aplicar la prueba t estándar de dos muestras, rara vez se justifica plenamente en datos reales. Cuando se rechaza la igualdad de varianzas, el investigador se enfrenta al dilema de Behrens–Fisher. La incapacidad de obtener una solución analítica exacta y universalmente aceptada dentro del marco frecuentista ha llevado a la proliferación de diversas soluciones aproximadas, cada una con sus propios méritos y limitaciones, perpetuando el debate sobre cuál es el método más robusto y preciso en diferentes contextos.
A pesar de que el problema parece elemental en su formulación, su resistencia a una solución exacta y elegante ha servido como un catalizador para el desarrollo de metodologías estadísticas más sofisticadas, incluyendo el avance de la inferencia bayesiana y el uso de técnicas de remuestreo. En esencia, la resolución o, más precisamente, la aproximación al problema de Behrens–Fisher, se ha convertido en una prueba de fuego para la solidez y coherencia de las distintas escuelas de pensamiento estadístico.
2. Orígenes Históricos: Behrens y Fisher
El problema fue formulado por primera vez por el estadístico alemán Walter-Ulrich Behrens en 1929. Behrens reconoció que la distribución de la diferencia estandarizada de las medias muestrales, cuando las varianzas poblacionales son distintas y desconocidas, no podía expresarse mediante una distribución de probabilidad simple conocida. Su trabajo inicial se centró en la determinación de los límites de confianza para esta diferencia, utilizando una lógica que posteriormente se alinearía con la filosofía de inferencia fiduciaria de Fisher.
Sir Ronald A. Fisher, una figura central en la estadística del siglo XX, abordó el problema en la década de 1930. Fisher, utilizando su método de inferencia fiduciaria, llegó a una distribución de probabilidad que hoy se conoce como la distribución de Fisher–Behrens. Este enfoque fiduciario, si bien proporcionaba una solución formal, no era una solución frecuentista en el sentido estricto, ya que la distribución resultante depende de parámetros desconocidos (las varianzas muestrales) de una manera que no permite la construcción de una prueba de hipótesis con un nivel de significancia fijo y conocido a priori. La distribución de Fisher–Behrens implica una ponderación de las distribuciones t de Student, complicando la obtención de valores p exactos.
La solución de Fisher y Behrens, aunque matemáticamente coherente dentro de su propio marco, fue inmediatamente criticada por los estadísticos que adherían estrictamente al paradigma frecuentista de Jerzy Neyman y Egon Pearson. Estos críticos argumentaban que una solución estadística válida debía garantizar que, si la hipótesis nula era cierta, la probabilidad de rechazarla (el nivel de significancia o $alpha$) fuera exactamente el valor nominal preestablecido, una propiedad que la solución fiduciaria no garantiza universalmente. Este desacuerdo inicial sentó las bases para una controversia estadística que duraría décadas, polarizando las escuelas de pensamiento sobre la naturaleza fundamental de la probabilidad y la inferencia.
3. Formulación Matemática del Problema
Considérense dos muestras aleatorias independientes, $X_1, X_2, dots, X_{n_1}$ de una población normal $N(mu_1, sigma_1^2)$ y $Y_1, Y_2, dots, Y_{n_2}$ de otra población normal $N(mu_2, sigma_2^2)$. El objetivo es inferir sobre la diferencia de medias $delta = mu_1 – mu_2$. Las medias muestrales son $bar{X}$ y $bar{Y}$, y las varianzas muestrales son $S_1^2$ y $S_2^2$. El estadístico de prueba natural para $delta$ es la diferencia de las medias muestrales, $bar{X} – bar{Y}$.
La varianza de la diferencia de medias es $text{Var}(bar{X} – bar{Y}) = frac{sigma_1^2}{n_1} + frac{sigma_2^2}{n_2}$. El problema surge al tratar de estandarizar esta diferencia para realizar pruebas de hipótesis. El estadístico t estandarizado, bajo la hipótesis nula $H_0: mu_1 = mu_2$, es:
$$T = frac{bar{X} – bar{Y}}{sqrt{frac{S_1^2}{n_1} + frac{S_2^2}{n_2}}}$$
Si $sigma_1^2 = sigma_2^2$ (varianzas iguales), el denominador se puede estimar con una varianza muestral combinada ($S_p^2$), y $T$ sigue una distribución t de Student con $n_1 + n_2 – 2$ grados de libertad. Sin embargo, cuando $sigma_1^2 neq sigma_2^2$, el estadístico $T$ no sigue exactamente una distribución t de Student, ya que el denominador es una suma ponderada de variables chi-cuadrado con grados de libertad diferentes. La distribución exacta de $T$ es desconocida y depende de la razón de las varianzas poblacionales desconocidas ($sigma_1^2 / sigma_2^2$).
Esta dependencia de un parámetro de molestia desconocido (la razón de varianzas) es lo que define el núcleo del problema de Behrens–Fisher. La meta es encontrar una distribución o una aproximación lo suficientemente precisa para $T$ que permita realizar inferencias válidas sin necesidad de conocer esta razón de varianzas.
4. La Solución de Welch y la Aproximación de Satterthwaite
La solución más utilizada y generalmente aceptada en la práctica frecuentista moderna para el problema de Behrens–Fisher es la prueba t de Welch, propuesta por B.L. Welch en 1938 y 1947. Welch propuso usar el estadístico $T$ tal como está formulado en la sección anterior, pero aproximando su distribución mediante una distribución t de Student modificada. Esta aproximación requiere calcular unos grados de libertad efectivos.
La determinación de los grados de libertad efectivos se realiza típicamente utilizando la fórmula de Satterthwaite (o aproximación de Welch–Satterthwaite). Esta fórmula calcula los grados de libertad ($nu$) como:
$$nu = frac{left(frac{S_1^2}{n_1} + frac{S_2^2}{n_2}right)^2}{frac{(S_1^2/n_1)^2}{n_1 – 1} + frac{(S_2^2/n_2)^2}{n_2 – 1}}$$
Este valor $nu$ generalmente no es un entero, por lo que típicamente se redondea hacia abajo al entero más cercano o se utiliza la distribución t con grados de libertad fraccionarios. La prueba de Welch es considerada una solución práctica porque mantiene el nivel de significancia nominal ($alpha$) muy cerca del valor deseado, incluso cuando los tamaños muestrales son pequeños y las varianzas son sustancialmente diferentes. Es importante destacar que la prueba de Welch es una solución aproximada, no exacta, pero su robustez y precisión la han establecido como el estándar de facto en la mayoría de los paquetes de software estadístico.
A diferencia de la solución de Fisher-Behrens, que se enfoca en la distribución de la diferencia de medias condicionada a las varianzas muestrales observadas, la prueba de Welch se centra en garantizar las propiedades frecuentistas de la tasa de error Tipo I. Aunque existen otras aproximaciones (como la prueba t de Hall), la robustez de la prueba de Welch, especialmente ante la heterocedasticidad, asegura que es la herramienta preferida en aplicaciones empíricas.
5. Implicaciones en la Inferencia Estadística
El problema de Behrens–Fisher tiene profundas implicaciones metodológicas. Si un investigador ignora la posibilidad de varianzas desiguales y aplica la prueba t estándar, puede enfrentar dos riesgos serios: si el tamaño de la muestra mayor corresponde a la población con mayor varianza, la prueba estándar será demasiado liberal (la probabilidad de error Tipo I real será mayor que $alpha$); inversamente, si la muestra más pequeña proviene de la población con mayor varianza, la prueba estándar será demasiado conservadora (la potencia de la prueba se reducirá). La prueba de Welch mitiga estos sesgos, proporcionando un control más fiable del nivel de significancia.
Además, la controversia Behrens–Fisher impulsó el desarrollo de la teoría de la prueba de hipótesis en general. Demostró que no siempre es posible encontrar un estadístico suficiente cuya distribución sea independiente de los parámetros de molestia. Esto llevó a la exploración de métodos alternativos, como los métodos de permutación y el bootstrap, que no dependen de las suposiciones paramétricas de normalidad y varianzas. Estos métodos de remuestreo ofrecen soluciones no paramétricas o semi-paramétricas al problema, aunque con sus propias consideraciones computacionales.
En el ámbito del diseño experimental, el reconocimiento de la dificultad de Behrens–Fisher subraya la importancia de la planificación cuidadosa. Si es posible, los diseños experimentales deben intentar equilibrar los tamaños muestrales ($n_1 = n_2$). Cuando los tamaños muestrales son iguales, la prueba t estándar es notablemente más robusta frente a la heterocedasticidad, aunque la prueba de Welch sigue siendo la opción más segura si no se conoce la magnitud de la diferencia de varianzas.
6. El Debate Filosófico: Frecuentismo vs. Bayesianismo
El problema de Behrens–Fisher se convirtió en un campo de batalla filosófico clave entre las escuelas de inferencia estadística. La solución de Fisher (fiduciaria) y la de Neyman–Pearson (frecuentista) representaban visiones opuestas sobre lo que constituye una inferencia válida. La inferencia fiduciaria de Fisher, que condujo a la distribución de Fisher–Behrens, se centra en la probabilidad de los parámetros dados los datos observados. Desde esta perspectiva, la solución es exacta y completa.
Sin embargo, la escuela frecuentista exigía que cualquier procedimiento de prueba mantuviera propiedades de error a largo plazo. La solución de Welch es un compromiso frecuentista: aunque no es exacta, garantiza que, en el largo plazo de repeticiones de experimentos, la tasa de error se aproxima a $alpha$. Para los frecuentistas estrictos, la solución de Fisher-Behrens es inaceptable porque no permite un control preciso del error Tipo I en el sentido de Neyman–Pearson.
El enfoque bayesiano ofrece una tercera vía. En la inferencia bayesiana, el problema se resuelve especificando distribuciones previas (priors) para los cuatro parámetros desconocidos ($mu_1, mu_2, sigma_1^2, sigma_2^2$). Utilizando los datos observados, se deriva la distribución posterior de la diferencia de medias $mu_1 – mu_2$. La inferencia bayesiana evita el problema de los parámetros de molestia desconocidos al integrarlos fuera de la distribución posterior. Aunque la solución bayesiana requiere métodos computacionales avanzados (como las cadenas de Markov Monte Carlo o MCMC) para distribuciones previas no conjugadas, proporciona una distribución posterior completa para la diferencia de medias, lo que permite la construcción de intervalos creíbles (análogos a los intervalos de confianza frecuentistas) de forma exacta bajo el modelo bayesiano.
7. Críticas y Limitaciones de las Soluciones Propuestas
A pesar de su popularidad, la prueba t de Welch no está exenta de críticas. La principal limitación es que sigue siendo una aproximación. Aunque funciona extremadamente bien en la mayoría de los casos, especialmente con tamaños muestrales moderados o grandes, se ha demostrado que puede desviarse ligeramente del nivel de significancia nominal en ciertas combinaciones extremas de tamaños muestrales y razones de varianza. Además, la fórmula de Satterthwaite puede ser inestable si los grados de libertad son muy pequeños (muestras muy pequeñas).
La solución de Fisher–Behrens, aunque teóricamente exacta dentro del marco fiduciario, fue ampliamente criticada por su falta de propiedades de optimalidad frecuentista y por la dificultad de calcular los valores críticos. La inferencia fiduciaria en sí misma ha caído en desuso, aunque los principios subyacentes han influido en métodos estadísticos modernos.
En cuanto a las soluciones bayesianas, la crítica principal se centra en la elección de las distribuciones previas. Diferentes elecciones de previas no informativas pueden, en teoría, conducir a resultados ligeramente diferentes, aunque para muestras grandes, el impacto de las previas suele ser marginal. No obstante, en ausencia de información previa sólida, la selección de una previa “objetiva” o “no informativa” sigue siendo un tema de debate dentro de la comunidad bayesiana.
En resumen, el problema de Behrens–Fisher ilustra la tensión inherente entre la búsqueda de la exactitud matemática (como en la solución de Fisher) y la necesidad de soluciones robustas y prácticas que mantengan propiedades de error controladas (como en la solución de Welch) en el contexto de la inferencia estadística aplicada.
