Tecnología / Guía técnica
Sesgo, varianza y error cuadrático medio de un estimador
Una estimación puede variar poco y aun así desviarse sistemáticamente de su objetivo. También puede ser insesgada y variar sustancialmente entre repeticiones hipotéticas. El sesgo y la varianza describen estos comportamientos distintos. El error cuadrático medio los combina para un objetivo fijo, lo que facilita apreciar los supuestos en los que se basa el promediado.
Una estimación estable no es necesariamente una estimación correcta.
La magnitud objetivo, el modelo de repetición y los errores compartidos determinan si reducir la variación visible mejora la estimación de esa magnitud.
01 / El objetivo.
El sesgo se define con respecto a una magnitud concreta.
Sea θ un objetivo fijo y T un estimador cuyo resultado varía entre repeticiones de un modelo estadístico especificado.
Sea θ un objetivo fijo y T un estimador cuyo resultado varía entre repeticiones de un modelo estadístico especificado. Su sesgo es b = E[T] − θ. Esta esperanza matemática se refiere a ese modelo de repetición, no simplemente a una secuencia corta de lecturas de una única realización de la situación.
Cambiar el objetivo cambia la interpretación. Estimar una media fija difiere de seguir una señal que varía con el tiempo. Un retardo puede generar discrepancias con la señal actual aunque una estimación describa correctamente un intervalo anterior; llamar «sesgo» a toda discrepancia oculta esa distinción.
02 / Dispersión
La varianza mide la variación en torno al promedio del propio estimador.
La varianza es E[(T − E[T])²], en unidades cuadradas de T.
La varianza es E[(T − E[T])²], en unidades de T al cuadrado. Describe la dispersión en torno al resultado medio del estimador. No mide la distancia entre esa media y θ. Por tanto, una distribución estrecha puede estar alejada del objetivo.
Los apuntes del MIT sobre estimación distinguen entre sesgo, varianza y error cuadrático medio. Este lenguaje estadístico difiere del de un registro finito de repetibilidad: los valores repetidos aportan pruebas sobre un proceso, mientras que las definiciones de esperanza y varianza se refieren al modelo poblacional declarado.
03 / Error cuadrado
La descomposición del MSE separa dos contribuciones.
Cuando los segundos momentos requeridos existen, MSE = E[(T − θ)²] = Var(T) + b².
Cuando existen los segundos momentos requeridos, MSE = E[(T − θ)²] = Var(T) + b². Al desarrollar T − θ alrededor de E[T], queda un término cruzado con esperanza nula. Ambas contribuciones tienen las unidades de la magnitud objetivo elevadas al cuadrado, por lo que pueden sumarse de manera coherente.
Considere dos estimadores hipotéticos. A tiene sesgo nulo y una varianza de 9 unit², lo que da un MSE de 9 unit². B tiene un sesgo de 1 unit y una varianza de 4 unit², lo que da un MSE de 5 unit². B tiene un MSE menor en este modelo especificado a pesar de ser sesgado.
04 / Media independiente
Promediar reduce un término mientras mantiene otro.
Supongamos que Y[i] = θ + b + ε[i], donde b es fijo y los errores ε[i] son independientes, con media cero y una varianza σ².
Supongamos que Y[i] = θ + b + ε[i], donde b es fijo y los errores ε[i] son independientes, tienen media cero y varianza σ². La media de N lecturas conserva el sesgo b y tiene varianza σ²/N. Su MSE es b² + σ²/N.
A medida que aumenta N, disminuye la dispersión independiente, pero permanece el desplazamiento fijo. El resultado no indica que todo promedio sea exacto. La correlación, la deriva y una magnitud objetivo cambiante pueden invalidar el modelo de repetición simple incluso cuando el número de lecturas es grande.
05 / Variación compartida
Los errores comunes establecen un límite mínimo que el promediado no puede reducir.
Extiende el modelo hipotético a Y[i] = θ + b + C + ε[i], donde C es una contribución aleatoria con media cero, compartida y independiente de los términos ε.
Extiende el modelo hipotético a Y[i] = θ + b + C + ε[i], donde C es una contribución aleatoria con media cero, compartida y independiente de los términos ε. La media tiene varianza Var(C) + Var(ε)/N. El término común está presente en cada lectura.
Para b = 2 unidades, Var(C) = 1 unidad², Var(ε) = 4 unidades² y N = 4, la media tiene una varianza de 2 unidades² y un MSE de 6 unidades². Estos valores inventados ilustran la variación común; no constituyen una especificación de incertidumbre de un sensor.
06 / Alcance
La mejora estadística depende del objetivo definido.
El MSE penaliza las desviaciones al cuadrado, por lo que es un criterio entre los posibles objetivos.
El MSE penaliza las desviaciones al cuadrado, por lo que es un criterio entre los posibles objetivos. Un estimador con menor MSE no tiene por qué presentar un error máximo posible menor. La comparación del ejemplo tampoco establece el mismo orden bajo un modelo de repetición diferente.
No se afirma que MARSTON ofrezca ninguna precisión de estimación ni función de promediado. El Guía de ajuste. Se enfoca en un objetivo distinto: seleccionar parámetros del modelo para minimizar las discrepancias en un conjunto de observaciones.
Guías técnicas relacionadas: Derivadas numéricas: pendiente de la señal y amplificación del ruido · Ajuste por mínimos cuadrados: residuos, pesos y errores de entrada · Residuos de modelos: discrepancias de predicción y causas ambiguas.
Trasfondo general: MIT OpenCourseWare: sesgo de estimación, varianza y MSE.. Estas referencias explican conceptos del sector; son independientes de los documentos aplicables del producto y del proyecto MARSTON.
Conceptos y condiciones principales.
Lea cada cantidad con su referencia, unidades y condiciones especificadas. Una relación general no establece un valor específico para un modelo.
| Concepto / magnitud | Significado / relación | Condiciones / límites |
|---|---|---|
| Objetivo θ | Cantidad fija en la comparación. | Su significado y límite temporal deben ser declarados. |
| Sesgo b. | E[T] menos θ | Necesita un modelo de repetición, en lugar de solo un resultado. |
| Varianza | Dispersión en torno a E[T] | El segundo momento existe y las unidades están al cuadrado. |
| MSE | Varianza más sesgo al cuadrado | Utiliza el mismo objetivo fijo y momentos finitos. |
| Varianza de la media | Contribuciones independientes y compartidas. | La correlación y la deriva modifican la relación de promediado. |
Preguntas de ingeniería.
¿Puede una estimación ser precisa pero estar sesgada?
Sí. Una dispersión pequeña no demuestra que la media sea igual al valor objetivo.
¿Es siempre preferible una estimación insesgada?
No para todos los objetivos; la comparación hipotética de MSE incluye la varianza.
¿La promediación elimina un desplazamiento fijo?
No. El desplazamiento fijo permanece en el promedio.
¿Y si los errores comparten un término aleatorio común?
Ese término permanece en lugar de disminuir como lo hace el ruido independiente.
¿Tiene MSE la misma unidad que el objetivo?
No. El MSE tiene las unidades de la variable objetivo elevadas al cuadrado.
¿El ejemplo describe un sensor MARSTON?
No. Es un modelo estadístico declarado con valores inventados.
Consulta técnica
Comenta la cuestión técnica.
Una estimación puede variar mínimamente y, sin embargo, seguir desviándose de su objetivo de manera constante. Comparte el modelo y la información relevante sobre operación o diseño para una discusión de ingeniería.