Najmanji kvadrati

Metod najmanjih kvadrata je metod procene parametara u regresionoj analizi zasnovan na minimizovanju zbira kvadrata ostataka (ostatak je razlika između posmatrane vrednosti i prilagođene vrednosti koju daje model) napravljenih u rezultatima svake pojedinačne jednačine. (Jednostavnije, najmanji kvadrati su matematički postupak za pronalaženje krive koja najbolje odgovara datom skupu tačaka minimizovanjem zbira kvadrata pomaka („ostataka「) tačaka od krive.)

Rezultat uklapanja skupa tačaka podataka sa kvadratnom funkcijom

Konično uklapanje skupa tačaka koristeći aproksimaciju najmanjih kvadrata

Najvažnija primena je u uklapanju podataka. Kada problem ima značajne nesigurnosti u nezavisnoj promenljivoj (promenljiva x), onda jednostavne metode regresije i metode najmanjih kvadrata imaju probleme; u takvim slučajevima, metodologija potrebna za uklapanje modela grešaka u promenljivim može se uzeti u obzir umesto one za najmanje kvadrate.

Problemi najmanjih kvadrata spadaju u dve kategorije: linearni ili obični najmanji kvadrati i nelinearni najmanji kvadrati, u zavisnosti od toga da li su funkcije modela linearne u svim nepoznatim. Problem linearnih najmanjih kvadrata javlja se u statističkoj regresionoj analizi; ima rešenje zatvorenog oblika. Nelinearni problem se obično rešava iterativnim prečišćavanjem; na svakoj iteraciji sistem se aproksimira linearnim, tako da je proračun jezgra sličan u oba slučaja.

Polinomni najmanji kvadrati opisuju varijansu u predviđanju zavisne promenljive kao funkcije nezavisne promenljive i odstupanja od postavljene krive.

Kada zapažanja dolaze iz eksponencijalne porodice sa identitetom kao što je njena prirodna dovoljna statistika i blagi uslovi su zadovoljeni (npr. za normalnu, eksponencijalnu, Poasonovu i binomnu raspodelu), standardizovane procene najmanjih kvadrata i procene maksimalne verovatnoće su identične.^[1] Metod najmanjih kvadrata se takođe može izvesti kao metod procene momenata.

Sledeća diskusija je uglavnom predstavljena u vidu linearnih funkcija, ali je upotreba najmanjih kvadrata validna i praktična za opštije porodice funkcija. Takođe, iterativnom primenom lokalne kvadratne aproksimacije na verovatnoću (preko Fišerove informacije), metoda najmanjih kvadrata se može koristiti za uklapanje u generalizovani linearni model.

Metod najmanjih kvadrata zvanično je otkrio i objavio Adrijen-Mari Ležandr (1805),^[2] iako se obično pripisuje i Karlu Fridrihu Gausu (1809),^[3][4] koji je doprineo značajnim teorijskim naprecima metoda,^[4] i možda ga je takođe koristio u svojim ranijim radovima 1794. i 1795. godine.^[5][4]