Technologia / Poradnik techniczny
Dopasowanie metodą najmniejszych kwadratów: reszty, wagi i błędy danych wejściowych
Metoda najmniejszych kwadratów dobiera parametry modelu przez minimalizację określonego zbioru kwadratów rozbieżności. Zapewnia precyzyjny cel optymalizacji, ale nie dowodzi, że wybrany model opisuje mechanizm leżący u podstaw zjawiska. Reszty, wagi obserwacji i błędy zmiennej wejściowej określają, co mogą reprezentować dopasowane parametry.
Mały błąd dopasowania odpowiada na konkretne pytanie.
Model, zmienne i wagi definiują to pytanie; jakość dopasowania i poprawność fizyczna pozostają odrębnymi ocenami.
01 / Cel
Reszta zależy zarówno od obserwacji, jak i od modelu.
Dla odpowiedzi y[i] i modelu f(x[i], β), zdefiniuj r[i] = y[i] − f(x[i], β).
Dla odpowiedzi y[i] i modelu f(x[i], β) zdefiniuj r[i] = y[i] − f(x[i], β). Zwykła metoda najmniejszych kwadratów minimalizuje Σr[i]² względem β. Wektor parametrów zmienia się podczas optymalizacji matematycznej; podane obserwacje pozostają odwzorowywanymi danymi.
Podnoszenie do kwadratu sprawia, że zarówno dodatnie, jak i ujemne reszty wnoszą dodatni wkład, a większe odchylenia mają większy wpływ. Ten cel różni się od minimalizacji błędu bezwzględnego lub błędu maksymalnego. Minimum odnosi się do wybranego kryterium, a nie do każdej możliwej interpretacji dokładności.
02 / Znaczenie liniowości
Liniowość względem parametrów różni się od liniowości względem sygnału wejściowego.
Model β0 + β1x jest liniowy w odniesieniu do jego nieznanych współczynników.
Model β0 + β1x jest liniowy względem swoich nieznanych współczynników. Tak samo jest z modelem β0 + β1x + β2x², mimo że jego wykres jest zakrzywiony. Natomiast umieszczenie nieznanego parametru w wykładniku zazwyczaj prowadzi do innego problemu optymalizacyjnego.
Jednoznaczne rozwiązanie dla współczynników w liniowej metodzie najmniejszych kwadratów wymaga, aby kolumny reprezentujące współczynniki były liniowo niezależne. Powtórzenie tej samej zależności w innej kolumnie nie dodaje niezależnego parametru. Ten warunek algebraiczny różni się od stwierdzenia, że parametry modelu fizycznego są identyfikowalne.
03 / Uproszczony przykład prostej
Jeden fikcyjny zestaw danych ilustruje kryterium.
Rozważ hipotetyczne pary (x, y) = (0, 1), (1, 2), (2, 4), gdzie x jest bezwymiarowe, a y jest wyrażone w jednostkach umownych.
Rozważ hipotetyczne pary (x, y) = (0, 1), (1, 2), (2, 4), gdzie x jest bezwymiarowe, a y jest wyrażone w jednostkach umownych. Prosta dopasowana z jednakowymi wagami ma współczynnik kierunkowy 1.5 jednostki i wyraz wolny 5/6 jednostki, zamiast przechodzić przez każdy punkt.
Trzy reszty wynoszą 1/6, −1/3 i 1/6 jednostki. Suma ich kwadratów wynosi 1/6 jednostki². Jest to dokładny przykład arytmetyczny; nie stanowi kalibracji czujnika, zaobserwowanego wyniku liniowości ani dowodu uzasadniającego ekstrapolację poza wymyślone wartości wejściowe.
04 / Wagi
Nierówna zmienność zmienia deklarowany cel dopasowania.
NIST opisuje ważoną metodę najmniejszych kwadratów jako minimalizację Σw[i]r[i]², dzięki czemu poszczególne obserwacje mogą w różnym stopniu wpływać na wynik.
NIST opisuje ważoną metodę najmniejszych kwadratów jako minimalizację Σw[i]r[i]², pozwalającą obserwacjom wpływać na wynik w różnym stopniu. W tej interpretacji wszystkie wagi muszą być nieujemne. Pomnożenie każdej dodatniej wagi przez tę samą stałą nie zmienia parametru minimalizującego.
Wagi odwrotnie proporcjonalne do wariancji mają określone uzasadnienie statystyczne, gdy błędy odpowiedzi są niezależne, ich wariancje są poprawnie odwzorowane, a dane wejściowe traktuje się jako znane. Ważenie nie koryguje automatycznie niepoprawnego modelu ani błędnego predyktora. Uzasadnienie doboru wag należy podawać wraz z wynikiem dopasowania.
05 / Błąd wejściowy
Zmienna objaśniająca obarczona szumem zmienia dopasowywaną zależność.
Rozważ hipotetyczną wycentrowaną populację: rzeczywista zmienna objaśniająca X ma wariancję 4, obserwowana x = X + e zawiera niezależny błąd o zerowej średniej i wariancji 1, a y = 2X.
Rozważmy hipotetyczną wycentrowaną populację: rzeczywisty predyktor X ma wariancję 4, obserwowane x = X + e zawiera niezależny błąd o średniej zerowej i wariancji 1, a y = 2X. Populacyjny współczynnik nachylenia zwykłej metody najmniejszych kwadratów wynosi Cov(x, y)/Var(x) = 8/5 = 1.6.
Nachylenie różni się od rzeczywistego współczynnika 2, ponieważ obserwowany predyktor zawiera dodatkową zmienność bez odpowiadającej jej zmienności odpowiedzi. Przykład zakłada niezależność i skończone momenty. Samo przypisanie wag odpowiedzi nie usuwa tego wpływu błędu predyktora ani nie zapewnia poprawnej korekty.
06 / Zakres
Zgodność uzyskana przez dopasowanie nie jest niezależną walidacją modelu.
Te same obserwacje, które wykorzystano do doboru współczynników, mogą wykazywać małą resztę z samej konstrukcji metody.
Te same obserwacje, których użyto do doboru współczynników, mogą z założenia wykazywać małą resztę. Bardziej elastyczny model może zmniejszyć wartość tej funkcji celu, odwzorowując przy tym przypadkowe cechy. Zgodność poza warunkami dopasowania jest odrębną kwestią, podobnie jak przyczynowe znaczenie każdego współczynnika.
Nie deklaruje się żadnego algorytmu dopasowania, odwzorowania kalibracyjnego ani współczynnika MARSTON. przewodnik po resztach modelu wyjaśnia, czym rozbieżności między przewidywaniami a rzeczywistością różnią się od potwierdzonej usterki, bez podawania procedur kalibracji lub sterowania w czasie rzeczywistym.
Powiązane poradniki techniczne: Obciążenie, wariancja i błąd średniokwadratowy estymatora · Identyfikowalność parametrów: jednoznaczne modele i ukryta niejednoznaczność · Reszty modelu: rozbieżności przewidywań i niejednoznaczne przyczyny.
Informacje ogólne: NIST: kryterium ważonej metody najmniejszych kwadratów. Źródła wyjaśniają koncepcje branżowe; są odrębne od właściwych dokumentów produktów i projektów MARSTON.
Kluczowe pojęcia i warunki.
Odczytuj każdą wielkość wraz z odniesieniem, jednostkami i podanymi warunkami. Ogólna zależność nie ustala wartości właściwej modelowi.
| Pojęcie / wielkość | Znaczenie / zależność | Warunki / ograniczenia |
|---|---|---|
| Reszta r | Obserwowana reakcja minus reakcja modelu | Te same jednostki i określony model |
| Kwadratowa funkcja celu | Σr² lub Σwr² | Optymalizacja względem zadeklarowanych parametrów |
| Liniowość względem parametrów | Liniowa zależność od współczynników | Może obejmować nieliniowe funkcje znanego wejścia |
| Waga obserwacji | Względny wpływ na funkcję celu | Statystyczna interpretacja wymaga uzasadnionych założeń dotyczących błędów. |
| Niepewność danych wejściowych | Błąd w samym predyktorze | Wagi odpowiedzi nie korygują tego automatycznie |
Pytania techniczne.
Czy linia najmniejszych kwadratów musi przechodzić przez wszystkie punkty?
Nie. Minimalizuje określoną sumę kwadratów różnic.
Czy model wielomianowy może być liniowy?
Model może być liniowy względem nieznanych współczynników, a jednocześnie nieliniowy względem sygnału wejściowego.
Czy skalowanie każdej wagi zmienia dopasowanie?
Wspólny dodatni współczynnik skali pozostawia parametry minimalizujące bez zmian.
Kiedy wagi oparte na odwrotności wariancji mają sens?
Przy uzasadnionym modelu błędu odpowiedzi, z podanymi założeniami niezależności i znajomości danych wejściowych.
Czy błędy danych wejściowych mogą systematycznie obciążać oszacowanie dopasowanego nachylenia?
Tak. Hipotetyczny przykład dotyczący populacji ilustruje jeden z takich mechanizmów.
Czy małe residuum dowodzi, że model ma sens fizyczny?
Nie. Optymalizacja i niezależna ocena poprawności odpowiadają na różne pytania.
Zapytanie techniczne
Omów zagadnienie techniczne.
Metoda najmniejszych kwadratów dobiera parametry modelu przez minimalizację określonego zbioru kwadratów rozbieżności. Udostępnij model oraz odpowiednie informacje eksploatacyjne lub projektowe do omówienia zagadnienia od strony inżynierskiej.