estimador sesgado – biased estimator

Estimador Sesgado

Primary Disciplinary Field(s): Estadística Matemática, Teoría de la Inferencia, Econometría

1. Definición Central

El concepto de estimador sesgado es fundamental dentro de la teoría de la inferencia estadística y se refiere a cualquier función de los datos muestrales (un estimador) cuyo valor esperado difiere del verdadero valor del parámetro poblacional que se intenta estimar. Formalmente, si $theta$ es un parámetro poblacional desconocido y $hat{theta}$ es un estimador de $theta$, el sesgo ($B(hat{theta})$) se define como la diferencia entre el valor esperado del estimador y el parámetro verdadero: $B(hat{theta}) = E[hat{theta}] – theta$. Si esta diferencia es distinta de cero, el estimador se clasifica como sesgado. Un sesgo positivo indica que el estimador, en promedio, sobreestima el parámetro, mientras que un sesgo negativo implica una subestimación sistemática. La presencia de sesgo sugiere que el procedimiento de estimación tiene una falla sistemática o estructural que lo inclina consistentemente en una dirección particular, independientemente de la muestra específica obtenida, aunque la magnitud del sesgo puede depender del tamaño muestral.

La existencia de sesgo no implica necesariamente que un estimador sea inservible. En muchas situaciones prácticas, los estimadores sesgados pueden preferirse a los estimadores insesgados debido a otras propiedades deseables, principalmente una menor varianza. El objetivo principal de la estadística es desarrollar estimadores que no solo sean precisos (cercanos al valor verdadero) sino también consistentes (que converjan al valor verdadero a medida que el tamaño de la muestra aumenta). Un estimador sesgado es, por definición, aquel que no cumple con el criterio de insesgadez estricta, lo cual es una propiedad deseable pero no siempre la más crítica. La evaluación de la calidad de un estimador debe ser multidimensional, considerando no solo el sesgo sino también la dispersión de sus estimaciones alrededor de su valor esperado, medida por la varianza.

Es crucial distinguir entre la propiedad teórica del sesgo y el error de muestreo que se observa en una única aplicación. El sesgo es una propiedad inherente del método de estimación, evaluado sobre la distribución de muestreo hipotética de ese estimador si se repitiera el proceso de muestreo infinitas veces. Incluso un estimador insesgado producirá una estimación que difiere del parámetro verdadero en una muestra particular; esta diferencia es el error de muestreo aleatorio. Sin embargo, si el estimador es insesgado, el promedio de todos estos errores de muestreo a largo plazo será cero. En contraste, si el estimador está sesgado, el promedio de estos errores a largo plazo no será nulo, reflejando el error sistemático inherente al método.

2. Formulación Matemática y Medición del Sesgo

La cuantificación precisa del sesgo es esencial para la evaluación comparativa de los estimadores. Como se mencionó, el sesgo $B(hat{theta})$ es $E[hat{theta}] – theta$. Si $B(hat{theta}) = 0$, el estimador es insesgado. Si $B(hat{theta}) neq 0$, es sesgado. El grado de sesgo puede variar significativamente. Un sesgo pequeño puede ser tolerable o incluso deseable si se compensa con una reducción sustancial de la varianza del estimador. La métrica más completa para evaluar la calidad general de un estimador que incorpora tanto el sesgo como la varianza es el Error Cuadrático Medio (ECM), que se define como $ECM(hat{theta}) = E[(hat{theta} – theta)^2]$.

El ECM puede descomponerse en la suma de la varianza del estimador y el cuadrado de su sesgo: $ECM(hat{theta}) = Var(hat{theta}) + [B(hat{theta})]^2$. Esta descomposición revela la relación intrínseca entre las dos principales fuentes de error en la estimación. Un buen estimador debe tener un ECM bajo. Esto significa que si bien la insesgadez (sesgo cero) minimiza el segundo término de la ecuación, puede ser posible reducir el primer término (varianza) de manera tan significativa al introducir un pequeño sesgo que el ECM total disminuya. Este es el corazón de la compensación entre sesgo y varianza, un concepto central en el modelado estadístico y el aprendizaje automático.

La medición del sesgo es a menudo un ejercicio teórico, derivado de las propiedades de la distribución de muestreo del estimador. En la práctica, dado que el parámetro verdadero $theta$ es desconocido, el sesgo exacto no puede calcularse a partir de una única muestra. Sin embargo, los estadísticos utilizan técnicas analíticas (como la expansión de Taylor) o métodos computacionales (como el bootstrap) para estimar o inferir el sesgo probable de un procedimiento de estimación en condiciones dadas. El conocimiento de la dirección y magnitud del sesgo es crucial para la interpretación de los resultados y para la posible aplicación de correcciones.

3. Compensaciones: Sesgo frente a Varianza

El dilema de la compensación entre sesgo y varianza (Bias-Variance Trade-off) es quizás el aspecto más importante de los estimadores sesgados. Un estimador con baja varianza significa que, si se toman muchas muestras diferentes, las estimaciones resultantes estarán muy cerca unas de otras. Un estimador con bajo sesgo significa que el centro de las estimaciones (el valor esperado) está muy cerca del parámetro verdadero. Idealmente, se desea un estimador con bajo sesgo y baja varianza. Sin embargo, en muchos contextos, especialmente en la estadística no paramétrica y el aprendizaje automático, estos dos objetivos son mutuamente excluyentes.

A menudo, la introducción deliberada de un pequeño sesgo en un estimador puede resultar en una reducción drástica de su varianza, lo que lleva a un menor Error Cuadrático Medio y, por lo tanto, a un estimador globalmente superior. Este fenómeno se observa comúnmente cuando se utilizan métodos de regularización (como la regresión Ridge o Lasso) en la regresión lineal. Estos métodos añaden una penalización a los coeficientes grandes, lo que sesga las estimaciones de los coeficientes hacia cero (introduciendo sesgo), pero a cambio, estabilizan el modelo y reducen significativamente la varianza de las predicciones, combatiendo el sobreajuste (overfitting).

La elección de dónde situarse en este espectro de compensación depende del contexto y del objetivo del análisis. Si el objetivo es la inferencia precisa sobre un parámetro estructural específico (por ejemplo, en la econometría causal), la insesgadez suele ser prioritaria, incluso si implica una varianza ligeramente mayor. Si, por otro lado, el objetivo es la predicción (como en el aprendizaje automático), donde el rendimiento fuera de la muestra es lo que importa, un estimador sesgado con una varianza mucho menor (es decir, un ECM más bajo) será la opción preferida, ya que proporciona predicciones más estables.

4. Ejemplos Comunes de Estimadores Sesgados

Existen varios estimadores sesgados que son ampliamente conocidos y utilizados en la práctica estadística, a menudo por su simplicidad o por sus propiedades de varianza reducida. Uno de los ejemplos más citados es el estimador de la varianza poblacional basado en la división por $n$ (el tamaño de la muestra) en lugar de $n-1$. El estimador de la varianza muestral, $S^2 = frac{1}{n-1} sum_{i=1}^{n} (X_i – bar{X})^2$, es insesgado. Sin embargo, si se utiliza el estimador $hat{sigma}^2 = frac{1}{n} sum_{i=1}^{n} (X_i – bar{X})^2$, este resulta ser un estimador sesgado, ya que $E[hat{sigma}^2] = frac{n-1}{n} sigma^2$, subestimando sistemáticamente la varianza poblacional $sigma^2$. No obstante, el estimador dividido por $n$ tiene un Error Cuadrático Medio más bajo en ciertas condiciones, lo que ilustra la compensación.

Otro ejemplo clásico proviene de la Máxima Verosimilitud (MV). Si bien los estimadores de máxima verosimilitud son asintóticamente insesgados (su sesgo tiende a cero a medida que el tamaño de la muestra $n$ se acerca al infinito), son a menudo sesgados para muestras pequeñas. Por ejemplo, en el contexto de la estimación de la varianza de una distribución normal, el estimador MV de la varianza también es sesgado (es el mismo estimador $hat{sigma}^2$ mencionado anteriormente). El atractivo de los estimadores MV radica en sus fuertes propiedades asintóticas, como la consistencia y la eficiencia asintótica (alcanzan la cota de Cramér-Rao asintóticamente).

Además, los estimadores derivados de procedimientos de reducción de dimensionalidad o selección de modelos, como la regresión por pasos o el uso de criterios de información (AIC, BIC), son inherentemente sesgados. Cuando se selecciona un subconjunto de variables predictoras de un conjunto más grande, el proceso de selección introduce un sesgo en las estimaciones de los coeficientes de las variables restantes. Este sesgo surge porque el modelo final seleccionado se ajusta mejor a los datos observados de lo que lo haría si el modelo hubiera sido especificado a priori, lo que lleva a una subestimación de la varianza del error y, por lo tanto, a coeficientes sesgados.

5. Propiedades Asintóticas y Consistencia

Una propiedad crítica para cualquier estimador, sesgado o no, es la consistencia. Un estimador es consistente si converge en probabilidad al verdadero valor del parámetro a medida que el tamaño de la muestra tiende a infinito. La consistencia es una propiedad menos estricta que la insesgadez, y un estimador puede ser sesgado para muestras finitas pero consistente. Los estimadores que son sesgados pero cuyo sesgo desaparece a medida que $n to infty$ se denominan asintóticamente insesgados.

La mayoría de los estimadores sesgados utilizados en la práctica, como los de Máxima Verosimilitud o los estimadores de regularización, poseen la propiedad de insesgadez asintótica. Esta es una característica muy deseable, ya que garantiza que, con suficientes datos, el error sistemático del método desaparece. Si un estimador es consistente y asintóticamente insesgado, a menudo se considera adecuado para la inferencia, especialmente en aplicaciones de big data donde $n$ es muy grande. Sin embargo, si un estimador es sesgado y su sesgo no tiende a cero (es decir, no es consistente), se considera un estimador fundamentalmente defectuoso.

La evaluación de la consistencia requiere el análisis del límite del sesgo y la varianza a medida que el tamaño de la muestra aumenta. Para que un estimador sea consistente, se requiere que su varianza tienda a cero y que su sesgo también tienda a cero. Si el sesgo no desaparece, el estimador no será consistente, sin importar cuán pequeña sea su varianza. Por ejemplo, si un investigador utiliza un estadístico muestral fijo (como la media de las primeras 10 observaciones) para estimar la media poblacional, este estimador tendrá un sesgo cero (será insesgado) si la muestra es aleatoria, pero su varianza no tenderá a cero a medida que $n$ crece, y por lo tanto, no será consistente, ilustrando que la consistencia requiere la conjunción de propiedades tanto de sesgo como de varianza.

6. Métodos de Corrección y Reducción del Sesgo

Cuando se identifica que un estimador es sesgado, existen varias técnicas estadísticas para corregir o reducir el sesgo, buscando acercar el estimador a las propiedades de la insesgadez. El método más directo, si el sesgo es conocido analíticamente, es la corrección de sesgo explícita. Esto implica simplemente restar la magnitud del sesgo conocido del estimador original. Por ejemplo, sabiendo que $E[hat{sigma}^2] = frac{n-1}{n} sigma^2$, podemos multiplicar $hat{sigma}^2$ por el factor de corrección $frac{n}{n-1}$ para obtener el estimador insesgado $S^2$.

En situaciones donde la forma analítica del sesgo es compleja o desconocida, se recurre a métodos de remuestreo. El método Jackknife es una técnica popular utilizada para estimar y reducir el sesgo de un estimador. El procedimiento Jackknife calcula el estimador en submuestras (generalmente eliminando una observación a la vez) y utiliza la variación entre estas estimaciones para estimar el sesgo. Al restar esta estimación del sesgo del estimador original, se produce un nuevo estimador con un sesgo significativamente reducido, a menudo al orden de $O(1/n^2)$.

Otro enfoque computacional es el uso de Bootstrap. Si bien el Bootstrap se utiliza principalmente para estimar la varianza y los intervalos de confianza, también puede emplearse para estimar empíricamente el sesgo. Al generar un gran número de muestras bootstrap a partir de la muestra original y calcular el estimador en cada una, la diferencia entre la media de las estimaciones bootstrap y la estimación original proporciona una estimación del sesgo. Aunque el Bootstrap no elimina completamente el sesgo, proporciona una herramienta robusta para su cuantificación en casos donde la teoría analítica es intratable.

7. Significado y Aplicaciones Prácticas

El entendimiento de los estimadores sesgados es vital en la práctica estadística, ya que la elección del estimador correcto impacta directamente la validez y la fiabilidad de las conclusiones. En áreas como la Econometría, el uso de estimadores sesgados puede surgir de problemas como la endogeneidad o la omisión de variables relevantes. Por ejemplo, el estimador de Mínimos Cuadrados Ordinarios (MCO) es insesgado bajo los supuestos clásicos de Gauss-Markov; sin embargo, si existe endogeneidad (correlación entre los regresores y el término de error), el estimador MCO se vuelve sesgado e inconsistente, lo que requiere el uso de estimadores más complejos como las Variables Instrumentales (VI) para restaurar la consistencia, aunque los estimadores VI pueden tener una varianza mayor.

En el campo del Aprendizaje Automático (Machine Learning), casi todos los algoritmos de modelado predictivo, como las redes neuronales, los árboles de decisión y los métodos de regularización (Ridge, Lasso), producen estimadores inherentemente sesgados. En este contexto, el sesgo se acepta e incluso se fomenta como una herramienta para simplificar el modelo y reducir la varianza, previniendo el sobreajuste a los datos de entrenamiento. La métrica de rendimiento dominante aquí es el error de predicción fuera de la muestra, donde un modelo sesgado pero robusto (baja varianza) a menudo supera a un modelo insesgado pero inestable (alta varianza).

Finalmente, el reconocimiento de la existencia de sesgo es un requisito fundamental para la honestidad científica. Un investigador debe reportar si está utilizando un estimador sesgado y, si es posible, discutir la dirección y la posible magnitud del sesgo. La elección de un estimador sesgado debe justificarse en términos de la reducción compensatoria de la varianza que conduce a un Error Cuadrático Medio más bajo. Por lo tanto, el concepto de estimador sesgado no es simplemente una etiqueta negativa, sino un elemento clave en la toma de decisiones informada sobre la inferencia y el modelado estadístico.

Further Reading

• Estimador Insesgado (Wikipedia en español)
• Error Cuadrático Medio (Wikipedia en español)
• Máxima Verosimilitud (Wikipedia en español)
• Corrección de Sesgo (Wikipedia en español)
• Jackknife (Estadística) (Wikipedia en español)