Технологии / Техническое руководство
Смещение, дисперсия и среднеквадратичная ошибка оценки
Оценка может мало изменяться и при этом систематически отклоняться от целевого значения. Она также может быть несмещённой, но существенно меняться при гипотетических повторениях. Смещение и дисперсия описывают эти разные свойства. Среднеквадратичная ошибка объединяет их для фиксированного целевого значения, позволяя яснее увидеть допущения, лежащие в основе усреднения.
Устойчивая оценка не обязательно является правильной.
Целевая величина, модель повторений и общие ошибки определяют, улучшает ли уменьшение видимого разброса оценку искомой величины.
01 / Цель
Смещение определяется относительно определенной величины.
Пусть θ — фиксированное целевое значение, а T — оценка, результат которой меняется при повторениях в рамках заданной статистической модели.
Пусть θ — фиксированная оцениваемая величина, а T — оценка, результат которой меняется при повторениях в рамках заданной статистической модели. Ее смещение равно b = E[T] − θ. Это математическое ожидание относится к указанной модели повторений, а не просто к короткой последовательности показаний в одной реализовавшейся ситуации.
Изменение целевой величины меняет интерпретацию. Оценивание постоянного среднего отличается от отслеживания меняющегося во времени сигнала. Задержка может вызвать расхождение с текущим сигналом, даже если оценка правильно описывает предыдущий интервал; если называть все расхождения «смещением», это различие теряется.
02 / Разброс
Дисперсия характеризует разброс вокруг собственного среднего значения оценивателя.
Дисперсия равна E[(T − E[T])²] и выражается в единицах T, возведённых в квадрат.
Дисперсия равна E[(T − E[T])²] и выражается в квадрате единиц T. Она описывает разброс вокруг среднего результата оценивателя. Она не измеряет расстояние между этим средним и θ. Поэтому узкое распределение может находиться вдали от целевого значения.
Материалы MIT по теории оценивания разграничивают смещение, дисперсию и среднеквадратическую ошибку. Этот статистический язык отличается от описания конечного набора измерений повторяемости: повторные значения дают данные об одном процессе, тогда как определения математического ожидания и дисперсии относятся к заявленной модели генеральной совокупности.
03 / Квадрат ошибки
Разложение MSE разделяет два компонента.
Когда существуют необходимые вторые моменты, MSE = E[(T − θ)²] = Var(T) + b².
Если необходимые вторые моменты существуют, MSE = E[(T − θ)²] = Var(T) + b². Разложение T − θ относительно E[T] оставляет перекрёстный член с нулевым математическим ожиданием. Оба слагаемых имеют единицы измерения целевой величины в квадрате, поэтому их можно согласованно складывать.
Рассмотрим два гипотетических оценивателя. A имеет нулевое смещение и дисперсию 9 unit², что даёт MSE 9 unit². B имеет смещение 1 unit и дисперсию 4 unit², что даёт MSE 5 unit². В этой заданной модели B имеет меньшую MSE, несмотря на наличие смещения.
04 / Независимое среднее
Усреднение уменьшает одну составляющую, сохраняя другую.
Предположим, что Y[i] = θ + b + ε[i], где b — фиксированное значение, а ошибки ε[i] независимы, имеют нулевое среднее и дисперсию σ².
Предположим, что Y[i] = θ + b + ε[i], где b фиксировано, а ошибки ε[i] независимы, имеют нулевое среднее и дисперсию σ². Среднее N показаний сохраняет смещение b и имеет дисперсию σ²/N. Его MSE равно b² + σ²/N.
По мере увеличения N разброс независимых погрешностей уменьшается, но постоянное смещение сохраняется. Этот результат не означает, что любое среднее значение становится точным. Корреляция, дрейф и изменение измеряемой величины могут нарушить применимость простой модели повторных измерений даже при большом числе отсчётов.
05 / Общая вариация
Общие ошибки задают предел снижения погрешности при усреднении.
Расширьте гипотетическую модель до Y[i] = θ + b + C + ε[i], где C — общий случайный вклад с нулевым средним, независимый от членов ε.
Расширьте гипотетическую модель до Y[i] = θ + b + C + ε[i], где C — общий случайный вклад с нулевым средним, независимый от членов ε. Дисперсия среднего составляет Var(C) + Var(ε)/N. Общий член присутствует в каждом показании.
При b = 2 units, Var(C) = 1 unit², Var(ε) = 4 unit² и N = 4 среднее имеет дисперсию 2 unit² и MSE 6 unit². Эти вымышленные значения иллюстрируют общую для измерений вариацию; они не являются спецификацией неопределенности датчика.
06 / Область рассмотрения
Статистическое улучшение зависит от поставленной цели.
MSE штрафует за квадраты отклонений, поэтому это один из возможных критериев оптимизации.
MSE учитывает квадраты отклонений, поэтому это один из критериев среди возможных целевых показателей. Оценка с меньшей MSE не обязательно имеет меньшую максимально возможную погрешность. Сравнение в примере также не устанавливает такой же порядок оценок при другой модели повторений.
Точность оценивания или функция усреднения MARSTON не заявляются. руководство по подгонке модели решает отдельную задачу: подбор параметров модели для минимизации расхождений в наборе наблюдений.
Связанные технические руководства: Численное дифференцирование: скорость изменения сигнала и усиление шума · Аппроксимация методом наименьших квадратов: остатки, веса и ошибки входных данных · Остатки модели: расхождения с прогнозом и неоднозначность причин.
Общие сведения: MIT OpenCourseWare: смещение оценки, дисперсия и среднеквадратичная ошибка. Эти источники объясняют отраслевые понятия; они рассматриваются отдельно от применимой документации MARSTON на продукцию и проект.
Ключевые понятия и условия.
Рассматривайте каждую величину с её отсчётом, единицами и условиями. Общая зависимость не устанавливает значение для конкретной модели.
| Понятие / величина | Смысл / связь | Условия / пределы |
|---|---|---|
| Целевое значение θ | Величина, фиксированная при сравнении | Обязательно следует указать его смысл и временные рамки. |
| Смещение b | E[T] минус θ | Требуется модель повторений, а не только один результат |
| Дисперсия | Разброс относительно E[T] | Второй момент существует, а единицы измерения возводятся в квадрат |
| MSE | Дисперсия плюс квадрат смещения | Использует ту же фиксированную оцениваемую величину и конечные статистические моменты |
| Дисперсия среднего | Независимые и общие вклады | Корреляция и дрейф изменяют соотношение при усреднении |
Инженерные вопросы.
Может ли оценка иметь малый разброс, но быть смещенной?
Да. Малый разброс не доказывает, что среднее равно целевому значению.
Всегда ли несмещённая оценка предпочтительнее?
Не для любой целевой функции; гипотетическое сравнение MSE учитывает дисперсию.
Вычисление среднего удаляет фиксированную величину смещения?
Нет. Постоянное смещение сохраняется в среднем значении.
Что если ошибки имеют общую случайную величину?
Это слагаемое сохраняется, а не уменьшается, как независимый шум.
Имеет ли MSE ту же единицу измерения, что и целевая величина?
Нет. MSE выражается в квадрате единиц измерения целевой величины.
Описывает ли этот пример работу сенсора MARSTON?
Нет. Это заявленная статистическая модель с искусственными значениями.
Технический запрос
Обсудите технический вопрос.
Оценка может мало изменяться и при этом систематически отклоняться от целевого значения. Предоставьте модель и применимую информацию об эксплуатации или проектировании для инженерного обсуждения.