Tecnologia / Guida tecnica
Distorsione, varianza ed errore quadratico medio di uno stimatore
Una stima può variare poco e comunque discostarsi sistematicamente dal suo valore obiettivo. Può anche essere non distorta pur variando notevolmente tra ripetizioni ipotetiche. Distorsione e varianza descrivono questi comportamenti distinti. L'errore quadratico medio li combina per un valore obiettivo fisso, rendendo più evidenti le ipotesi alla base del calcolo della media.
Una stima stabile non è necessariamente una stima corretta.
L'obiettivo, il modello di ripetizione e gli errori condivisi determinano se ridurre la variazione visibile migliora la quantità stimata.
01 / Obiettivo
La distorsione sistematica è definita rispetto a una grandezza specifica.
Sia θ un valore obiettivo fisso e T uno stimatore il cui risultato varia tra ripetizioni di un modello statistico dichiarato.
Sia θ un valore obiettivo fisso e T uno stimatore il cui risultato varia tra le ripetizioni di un modello statistico dichiarato. La sua distorsione è b = E[T] − θ. Questo valore atteso riguarda tale modello di ripetizione, non semplicemente una breve sequenza di letture provenienti da una singola situazione realizzata.
Cambiare l'obiettivo cambia l'interpretazione. Stimare una media fissa è diverso dal seguire un segnale variabile nel tempo. Un ritardo può creare una discrepanza rispetto al segnale attuale anche se una stima descrive correttamente un intervallo precedente; chiamare ogni discrepanza “bias” nasconde questa distinzione.
02 / Dispersione
La varianza misura la variazione attorno alla media dello stimatore stesso.
La varianza è E[(T − E[T])²], espressa nelle unità di T al quadrato.
La varianza è E[(T − E[T])²], espressa nelle unità di T al quadrato. Descrive la dispersione attorno al risultato medio dello stimatore. Non misura la distanza tra quella media e θ. Una distribuzione stretta può quindi trovarsi lontano dal valore obiettivo.
Gli appunti del MIT sulla stima distinguono bias, varianza ed errore quadratico medio. Questo linguaggio statistico differisce da una registrazione finita di ripetibilità: i valori ripetuti forniscono evidenze su un processo, mentre le definizioni di valore atteso e varianza si riferiscono al modello di popolazione dichiarato.
03 / Errore quadratico
La decomposizione MSE separa due contributi.
Quando esistono i momenti del secondo ordine necessari, MSE = E[(T − θ)²] = Var(T) + b².
Quando esistono i momenti secondi richiesti, MSE = E[(T − θ)²] = Var(T) + b². Sviluppando T − θ attorno a E[T] rimane un termine incrociato con valore atteso nullo. Entrambi i contributi hanno le unità della grandezza obiettivo al quadrato, quindi possono essere sommati in modo coerente.
Considerare due stimatori ipotetici. A ha bias nullo e varianza 9 unit², con MSE 9 unit². B ha bias 1 unit e varianza 4 unit², con MSE 5 unit². B ha un MSE inferiore in questo modello specificato pur essendo distorto.
04 / Media indipendente
La media riduce un termine mantenendone un altro.
Si supponga Y[i] = θ + b + ε[i], dove b è fisso e gli errori ε[i] sono indipendenti, a media nulla e con varianza σ².
Supponiamo che Y[i] = θ + b + ε[i], dove b è fisso e gli errori ε[i] sono indipendenti, a media nulla e con varianza σ². La media di N letture conserva la distorsione b e ha varianza σ²/N. Il suo MSE è b² + σ²/N.
All'aumentare di N, la dispersione indipendente diminuisce, ma lo scostamento fisso rimane. Il risultato non afferma che ogni media diventi accurata. La correlazione, la deriva e un obiettivo variabile possono invalidare il semplice modello di ripetizione anche quando il numero di letture è elevato.
05 / Variazione condivisa
Gli errori comuni impongono un limite alla riduzione dell'errore ottenibile mediante la media.
Estendere il modello ipotetico a Y[i] = θ + b + C + ε[i], dove C è un contributo casuale condiviso a media nulla, indipendente dai termini ε.
Estendi il modello ipotetico a Y[i] = θ + b + C + ε[i], dove C è un contributo casuale condiviso a media nulla, indipendente dai termini ε. La media ha varianza Var(C) + Var(ε)/N. Il termine comune è presente in ogni lettura.
Per b = 2 unità, Var(C) = 1 unità², Var(ε) = 4 unitಠe N = 4, la media ha varianza 2 unitಠe MSE 6 unità². Questi valori inventati illustrano una variazione comune; non costituiscono una specifica di incertezza di un sensore.
06 / Ambito
Il miglioramento statistico dipende dall'obiettivo definito.
MSE penalizza le deviazioni al quadrato, quindi è uno dei criteri tra quelli possibili.
MSE penalizza gli scostamenti al quadrato, quindi è un criterio tra i possibili obiettivi. Uno stimatore con MSE minore non ha necessariamente un errore massimo possibile minore. Inoltre, il confronto dell'esempio non dimostra che lo stesso ordinamento valga con un diverso modello di ripetizione.
Non si dichiara alcuna accuratezza dello stimatore né alcuna funzione di media MARSTON. Il guida all'adattamento dei modelli affronta un obiettivo distinto: selezionare i parametri del modello per minimizzare le discrepanze in un insieme di osservazioni.
Guide tecniche correlate: Derivate numeriche: pendenza del segnale e amplificazione del rumore · Adattamento ai minimi quadrati: residui, pesi ed errori in ingresso · Residui del modello: scarti di previsione e cause ambigue.
Informazioni generali: MIT OpenCourseWare: bias di stima, varianza e MSE. Questi riferimenti spiegano concetti del settore; sono distinti dai documenti MARSTON di prodotto e di progetto applicabili.
Concetti e condizioni fondamentali.
Leggere ogni grandezza insieme al riferimento, alle unità e alle condizioni dichiarate. Una relazione generale non stabilisce un valore specifico di un modello.
| Concetto / grandezza | Significato / relazione | Condizioni / limiti |
|---|---|---|
| Target θ | Quantità fissa nella comparazione. | Devono essere dichiarati il suo significato e il relativo intervallo temporale di riferimento |
| Bias b | E[T] meno θ | Richiede un modello di ripetizione, anziché un solo risultato |
| Varianza | Dispersione attorno a E[T] | Il secondo momento esiste e le unità sono al quadrato |
| MSE | Varianza più bias al quadrato | Utilizza lo stesso obiettivo fisso e momenti finiti. |
| Varianza della media | Contributi indipendenti e condivisi. | La correlazione e la deriva modificano la relazione che governa il calcolo della media |
Domande ingegneristiche.
È possibile che una stima sia precisa ma anche influenzata da un bias?
Sì. Una dispersione ridotta non dimostra che la media sia uguale al valore obiettivo.
Una stima non distorta è sempre preferibile?
Non necessariamente per ogni obiettivo; il confronto ipotetico tra MSE include la varianza.
Il calcolo della media elimina un offset fisso?
No. L'offset fisso rimane nella media.
Cosa accade se gli errori condividono un termine casuale comune?
Quel termine permane anziché diminuire come fa il rumore indipendente.
L'MSE ha la stessa unità di misura della grandezza obiettivo?
No. L'MSE si esprime nelle unità della variabile obiettivo elevate al quadrato.
L'esempio descrive un sensore MARSTON?
No. Si tratta di un modello statistico dichiarato, con valori inventati.
Richiesta tecnica
Discutere la questione tecnica.
Una stima può variare poco e tuttavia discostarsi sistematicamente dal suo obiettivo. Condividere il modello e le informazioni operative o progettuali applicabili per una discussione tecnica.