Технологии / Техническое руководство
Аппроксимация методом наименьших квадратов: остатки, веса и ошибки входных данных
Метод наименьших квадратов выбирает параметры модели, минимизируя заданную совокупность квадратов отклонений. Он задаёт точную цель оптимизации, но не доказывает, что выбранная модель описывает лежащий в основе механизм. Остатки, веса наблюдений и ошибки во входной переменной определяют, что могут отражать подобранные параметры.
Малая погрешность аппроксимации отвечает на конкретный вопрос.
Модель, переменные и веса определяют этот вопрос; качество подгонки и физическая обоснованность остаются разными предметами оценки.
01 / Цель
Невязка зависит как от наблюдения, так и от модели.
Для отклика y[i] и модели f(x[i], β) определите r[i] = y[i] − f(x[i], β).
Для отклика y[i] и модели f(x[i], β) определите r[i] = y[i] − f(x[i], β). Обычный метод наименьших квадратов минимизирует Σr[i]² по β. Вектор параметров изменяется в ходе математической оптимизации; указанные наблюдения остаются данными, которые представляет модель.
Возведение в квадрат делает вклад как положительных, так и отрицательных невязок положительным и придаёт больший вес более значительным отклонениям. Эта целевая функция отличается от минимизации абсолютной или максимальной ошибки. Минимум относится к выбранному критерию, а не ко всем возможным трактовкам точности.
02 / Смысл линейности
Линейность по параметрам отличается от линейности по входному сигналу.
Линейная модель β0 + β1x характеризуется линейностью в отношении неизвестных коэффициентов.
Модель β0 + β1x линейна по своим неизвестным коэффициентам. То же верно для β0 + β1x + β2x², хотя график имеет криволинейную форму. Напротив, включение неизвестного параметра в экспоненту обычно приводит к другой задаче оптимизации.
Единственное решение для коэффициентов в линейном методе наименьших квадратов требует линейной независимости столбцов, соответствующих этим коэффициентам. Повторение той же зависимости в другом столбце не добавляет независимого параметра. Это алгебраическое условие отличается от утверждения об идентифицируемости параметров физической модели.
03 / Упрощенный пример прямой
Один вымышленный набор данных иллюстрирует критерий.
Рассмотрим гипотетические пары (x, y) = (0, 1), (1, 2), (2, 4), где x является безразмерным, а y — в произвольных единицах.
Рассмотрим гипотетические пары (x, y) = (0, 1), (1, 2), (2, 4), где x — безразмерная величина, а y выражена в произвольных единицах. Прямая, полученная при аппроксимации с равными весами, имеет угловой коэффициент 1.5 единицы и свободный член 5/6 единицы, а не проходит через каждую точку.
Три остатка равны 1/6, −1/3 и 1/6 единицы. Сумма их квадратов составляет 1/6 единицы². Это точный арифметический пример, а не калибровка датчика, не наблюдаемый результат оценки линейности и не основание для экстраполяции за пределы вымышленных входных значений.
04 / Веса
Неодинаковый разброс изменяет заданную целевую функцию подгонки.
NIST описывает взвешенный метод наименьших квадратов как минимизацию Σw[i]r[i]², позволяющую наблюдениям влиять на результат с разным весом.
NIST описывает взвешенный метод наименьших квадратов как минимизацию Σw[i]r[i]², при которой наблюдения могут по-разному влиять на результат. Для такой интерпретации все веса должны быть неотрицательными. Умножение каждого положительного веса на одну и ту же константу не изменяет значение параметра, при котором достигается минимум.
Веса, обратно пропорциональные дисперсии, имеют определённое статистическое обоснование, когда ошибки отклика независимы, их дисперсии представлены правильно, а входные величины считаются известными. Взвешивание не исправляет автоматически неверную модель или ошибочный предиктор. Обоснование весов необходимо приводить вместе с результатом подгонки.
05 / Погрешность входных данных
Шум в предикторе изменяет зависимость, для которой выполняется подгонка.
Рассмотрим гипотетическую центрированную генеральную совокупность: истинный предиктор X имеет дисперсию 4, наблюдаемая величина x = X + e содержит независимую ошибку с нулевым средним и дисперсией 1, а y = 2X.
Рассмотрим гипотетическую центрированную генеральную совокупность: истинный предиктор X имеет дисперсию 4, наблюдаемая величина x = X + e содержит независимую ошибку с нулевым средним и дисперсией 1, а y = 2X. Коэффициент наклона для генеральной совокупности, определяемый обычным методом наименьших квадратов, равен Cov(x, y)/Var(x) = 8/5 = 1.6.
Наклон отличается от истинного коэффициента 2, поскольку наблюдаемый предиктор содержит дополнительную вариацию без соответствующей вариации отклика. В примере предполагаются независимость и конечность моментов. Одно лишь назначение весов отклику не устраняет этот эффект ошибки предиктора и не обосновывает корректность поправки.
06 / Область рассмотрения
Совпадение, полученное при подгонке, не является независимой проверкой модели.
На тех же наблюдениях, которые использовались для подбора коэффициентов, невязка может оказаться малой в силу самого способа построения модели.
Те же наблюдения, по которым подбирались коэффициенты, могут давать малый остаток в силу самого способа подгонки. Более гибкая модель может уменьшить эту целевую функцию, воспроизводя при этом случайные особенности. Согласие с данными за пределами условий подгонки — отдельный вопрос, как и причинный смысл каждого коэффициента.
Здесь не заявлены алгоритм аппроксимации, калибровочное отображение или коэффициент MARSTON. руководство по невязкам объясняет, чем расхождения с прогнозом отличаются от подтвержденной неисправности, не приводя процедур калибровки или оперативного управления.
Связанные технические руководства: Смещение, дисперсия и среднеквадратичная ошибка оценки · Идентифицируемость параметров: единственность моделей и скрытая неоднозначность · Остатки модели: расхождения с прогнозом и неоднозначность причин.
Общие сведения: NIST: критерий взвешенного метода наименьших квадратов. Эти источники объясняют отраслевые понятия; они рассматриваются отдельно от применимой документации MARSTON на продукцию и проект.
Ключевые понятия и условия.
Рассматривайте каждую величину с её отсчётом, единицами и условиями. Общая зависимость не устанавливает значение для конкретной модели.
| Понятие / величина | Смысл / связь | Условия / пределы |
|---|---|---|
| Невязка r | Наблюдаемый отклик минус отклик модели | Одинаковые единицы измерения и указанная модель |
| Квадратичная целевая функция | Σr² или Σwr² | Оптимизация по заявленным параметрам |
| Линейность по параметрам | Линейная зависимость от коэффициентов. | Может включать нелинейные функции известной входной величины |
| Вес наблюдения | Относительное влияние на целевую функцию | Статистическая интерпретация требует обоснованных предположений об ошибках. |
| Неопределённость входных данных | Ошибка в самом предсказателе. | Весовые коэффициенты отклика не устраняют это автоматически |
Инженерные вопросы.
Должна ли прямая, построенная методом наименьших квадратов, проходить через каждую точку?
Нет. Этот метод минимизирует заданную суммарную квадратичную невязку.
Может ли полиномиальная модель быть линейной?
Модель может быть линейной по неизвестным коэффициентам и при этом нелинейной по входному сигналу.
Изменится ли аппроксимация при масштабировании всех весов?
Общий положительный масштабный множитель не изменяет значения параметров, при которых достигается минимум.
Когда веса, основанные на обратных дисперсиях, имеют смысл?
При обоснованной модели ошибок отклика с указанными допущениями о независимости и известных входных величинах.
Могут ли погрешности входных данных вызвать систематическое смещение оценки наклона аппроксимирующей прямой?
Да. Гипотетический пример с генеральной совокупностью иллюстрирует один из таких механизмов.
Доказывает ли малая невязка физическую обоснованность модели?
Нет. Оптимизация и независимая проверка обоснованности отвечают на разные вопросы.
Технический запрос
Обсудите технический вопрос.
Метод наименьших квадратов подбирает параметры модели путём минимизации заданной совокупности квадратов невязок. Предоставьте модель и применимые эксплуатационные или проектные данные для инженерного обсуждения.