Technologie / Guide technique
Biais, variance et erreur quadratique moyenne d’un estimateur
Une estimation peut varier peu tout en s’écartant systématiquement de sa cible. Elle peut aussi être sans biais tout en variant considérablement entre des répétitions hypothétiques. Le biais et la variance décrivent ces comportements distincts. L’erreur quadratique moyenne les combine pour une cible fixe, ce qui permet de mieux comprendre les hypothèses sous-jacentes au calcul de la moyenne.
Une estimation stable n’est pas nécessairement une estimation correcte.
La cible, le modèle de répétition et les erreurs partagées déterminent si la réduction de la variation visible améliore la quantité estimée.
01 / Cible
Le biais est défini par rapport à une grandeur particulière.
Soit θ une cible fixe et T un estimateur dont le résultat varie au fil des répétitions d’un modèle statistique spécifié.
Soit θ une cible fixe et T un estimateur dont le résultat varie au fil des répétitions d’un modèle statistique donné. Son biais est b = E[T] − θ. Cette espérance concerne ce modèle de répétition, et non simplement une courte série de relevés issus d’une seule réalisation de la situation.
Changer la cible modifie l'interprétation. Estimer une moyenne fixe diffère du suivi d'un signal variable dans le temps. Un retard peut créer un écart avec le signal actuel même si une estimation décrit correctement un intervalle antérieur ; qualifier tout écart de « biais » masque cette distinction.
02 / Dispersion
La variance mesure la variation par rapport à la moyenne de l'estimateur lui-même.
Variance = E[(T − E[T])²], en unités carrées de T.
La variance est E[(T − E[T])²], en unités de T au carré. Elle décrit la dispersion autour du résultat moyen de l'estimateur. Elle ne mesure pas la distance entre cette moyenne et θ. Une distribution étroite peut donc être éloignée de la cible.
Les notes du MIT sur l’estimation distinguent le biais, la variance et l’erreur quadratique moyenne. Ce langage statistique diffère d’un relevé fini de répétabilité : les valeurs répétées apportent des éléments sur un processus, tandis que les définitions de l’espérance et de la variance se rapportent au modèle de population déclaré.
03 / Erreur au carré
La décomposition de l'erreur quadratique moyenne (MSE) sépare deux contributions.
Lorsque les moments d'ordre deux requis existent, MSE = E[(T − θ)²] = Var(T) + b².
Lorsque les moments d’ordre deux requis existent, MSE = E[(T − θ)²] = Var(T) + b². Le développement de T − θ autour de E[T] laisse un terme croisé d’espérance nulle. Les deux contributions ont les unités de la grandeur cible au carré ; elles peuvent donc être additionnées de manière cohérente.
Considérons deux estimateurs hypothétiques. A a un biais nul et une variance de 9 unit², ce qui donne une MSE de 9 unit². B a un biais de 1 unit et une variance de 4 unit², ce qui donne une MSE de 5 unit². B présente une MSE inférieure dans ce modèle spécifié, malgré son biais.
04 / Moyenne indépendante
Le moyennage réduit un terme tout en conservant l’autre.
Supposons que Y[i] = θ + b + ε[i], où b est constant et les erreurs ε[i] sont indépendantes, de moyenne zéro et ont une variance σ².
Supposons Y[i] = θ + b + ε[i], où b est fixe et où les erreurs ε[i] sont indépendantes, de moyenne nulle et de variance σ². La moyenne de N mesures conserve le biais b et présente une variance σ²/N. Son erreur quadratique moyenne (MSE) est b² + σ²/N.
À mesure que N augmente, la dispersion indépendante diminue, mais le décalage fixe demeure. Ce résultat ne signifie pas que toute moyenne devient exacte. La corrélation, la dérive et une cible variable peuvent invalider le modèle simple de répétition, même lorsque le nombre de relevés est élevé.
05 / Variations partagées.
Les erreurs communes imposent un plancher à la réduction de l’erreur par moyennage.
Étendez le modèle hypothétique à Y[i] = θ + b + C + ε[i], où C est une contribution aléatoire commune de moyenne nulle, indépendante des termes ε.
Étendez le modèle hypothétique à Y[i] = θ + b + C + ε[i], où C est une contribution aléatoire commune de moyenne nulle, indépendante des termes ε. La moyenne a pour variance Var(C) + Var(ε)/N. Le terme commun est présent dans chaque mesure.
Pour b = 2 unités, Var(C) = 1 unité², Var(ε) = 4 unités² et N = 4, la moyenne présente une variance de 2 unités² et une MSE de 6 unités². Ces valeurs fictives illustrent une variation commune ; elles ne constituent pas une spécification de l’incertitude d’un capteur.
06 / Périmètre
L'amélioration statistique dépend de l'objectif défini.
MSE pénalise les écarts au carré, ce qui en fait un critère parmi d'autres objectifs possibles.
La MSE pénalise les écarts au carré ; elle constitue donc un critère parmi les objectifs possibles. Un estimateur ayant une MSE plus faible n'a pas nécessairement une erreur maximale possible plus faible. La comparaison donnée en exemple n'établit pas non plus le même classement avec un autre modèle de répétition.
Aucune précision d’estimateur ni fonction de moyennage MARSTON n’est revendiquée. Le Guide d'ajustement. répond à un objectif distinct : sélectionner les paramètres du modèle afin de minimiser les écarts dans un ensemble d’observations.
Guides techniques associés : Dérivées numériques : pente du signal et amplification du bruit. · Ajustement par les moindres carrés : résidus, poids et erreurs d’entrée · Résidus de modèles : écarts de prédiction et causes ambiguës.
Contexte général : MIT OpenCourseWare : biais d'estimation, variance et MSE.. Ces références expliquent des concepts du secteur ; elles sont distinctes des documents MARSTON applicables au produit et au projet.
Concepts clés et conditions.
Interpréter chaque grandeur avec sa référence, ses unités et les conditions indiquées. Une relation générale ne permet pas d’établir une valeur propre à un modèle.
| Concept / grandeur | Signification / relation | Conditions / limites |
|---|---|---|
| Cible θ | Quantité fixe dans la comparaison. | Sa signification et ses limites temporelles doivent être déclarées. |
| Biais b | E[T] moins θ | Nécessite un modèle de répétition plutôt qu'un seul résultat. |
| Variance | Dispersion autour de E[T] | Le moment d’ordre deux existe et les unités sont au carré |
| MSE | Variance plus carré du biais | Utilise la même cible fixe et des moments finis |
| Variance de la moyenne | Contributions indépendantes et partagées. | La corrélation et la dérive modifient la relation de moyennage |
Questions d’ingénierie.
Est-il possible qu'une estimation soit à la fois précise et biaisée ?
Oui. Une faible dispersion ne prouve pas que la moyenne est égale à la cible.
Une estimation sans biais est-elle toujours préférable ?
Pas pour tous les objectifs ; la comparaison hypothétique des MSE inclut la variance.
Est-ce que l'utilisation d'une moyenne supprime un offset fixe ?
Non. L'offset fixe reste dans la moyenne.
Que se passe-t-il si les erreurs partagent un terme aléatoire commun ?
Ce terme reste, au contraire, et ne diminue pas comme le bruit indépendant.
Est-ce que la MSE a les mêmes unités que la cible ?
Non. La MSE s’exprime dans les unités de la grandeur cible au carré.
Est-ce que l'exemple décrit un capteur MARSTON ?
Non. Il s'agit d'un modèle statistique déclaré, avec des valeurs inventées.
Demande technique
Discutons de la question technique.
Une estimation peut varier peu et néanmoins s’écarter systématiquement de sa cible. Communiquez le modèle et les informations de fonctionnement ou de conception applicables pour une discussion technique.