Tradicionalna metoda najmanjih kvadrata. Linearna regresija
Metoda najmanje kvadrata (MNC) omogućava vam da procijenite različite vrijednosti koristeći rezultate skupa mjerenja koja sadrže slučajne pogreške.
Karakteristična za MNK.
Glavna ideja ove metode je da kao kriterij za tačnost rješavanja problema, zbir kvadrata grešaka, koji nastoje minimizirati. Kada se koristi ova metoda, može se primijeniti i numerički i analitički pristup.
Posebno, kao numerička provedba, metoda najmanjih kvadrata podrazumijeva veći broj nepoznatih mjerenja što je više moguće slučajna varijabla. Štaviše, to će više proračun biti tačnije rješenje. Na ovom setu računarstva (izvorne podatke) dobiva se još jedan skup navodnih rješenja iz kojeg je tada najbolji odabran. Ako se mnoštvo rješenja za parametriziraju, tada se metoda najmanjih kvadrata svodi na potragu za optimalnom vrijednošću parametara.
Kao analitički pristup provedbi MNA na mnoštvu izvornih podataka (mjerenja) i procijenjenog skupa rješenja, određeni su neki (funkcionalni), koji se može izraziti formulom dobivenom kao određena hipoteza koja zahtijeva potvrdu. U ovom slučaju, metoda najmanje kvadrata svodi se na pronalaženje minimum ove funkcionalne na skupu kvadrata izvornih pogrešaka podataka.
Imajte na umu da nisu sami greške, naime kvadrate grešaka. Zašto? Činjenica je da često odstupanja mjerenja od tačna vrijednost Postoje i pozitivni i negativni. Prilikom određivanja prosječnog jednostavnog saženja, može dovesti do pogrešnog zaključka o kvaliteti procjene, jer će međusobno uništavanje pozitivnih i negativnih vrijednosti smanjiti moć uzorkovanja skupa mjerenja. I, prema tome, tačnost procjene.
Da se ne dogodi i sažeti kvadrate odstupanja. Čak i štoviše, za izravnavanje dimenzije izmjerene vrijednosti i konačne procjene, iz zbroja kvadrata grešaka
Neke MNK aplikacije
MNC se široko koristi u raznim poljima. Na primjer, u teoriji vjerojatnosti i matematičke statistike, metoda se koristi za utvrđivanje ove karakteristike slučajne varijable, kao prosječno kvadratno odstupanje koje određuje širinu raspona vrijednosti nasumičnih varijancijskih vrijednosti.
Najmanje kvadratna metoda Koristi se za procjenu parametara, regresijsku jednadžbu.Jedna od metoda za proučavanje stohastičkih veza između znakova je regresijska analiza.
Regresijska analiza je zaključak regresijske jednadžbe s kojim prosječna vrijednost Slučajna varijabla (znak znaka), ako je vrijednost druge (ili druge) varijable (faktora) poznata. Sadrži sljedeće korake:
- izbor komunikacijskog obrasca (vrsta analitičke regresijske jednadžbe);
- procjena parametara jednadžbe;
- procjena kvaliteta analitičke regresijske jednadžbi.
U slučaju linearnog par veze, regresijska jednadžba će uzeti oblik: y i \u003d + b · x i + u i. Parametri ove jednadžbe A i B procjenjuju se prema statističkom promatranju X i Y. Rezultat takve procjene je jednadžba :, gdje - procjene parametara A i B - vrijednost rezultirajuće funkcije (varijabla) dobivene regresijskom jednadžbom (izračunata vrijednost).
Najčešće za procjenu upotrebe parametara metoda najmanje kvadrata (MNC).
Metoda najmanje kvadrata daje najbolje (bogate, efikasne i otključane) procjene parametara regresijske jednadžbe. Ali samo ako se izvršite određeni preduvjeti u odnosu na slučajni izraz (u) i neovisna varijabla (x) (vidi pozadinu MNC-a).
Problem procjene parametara linearne parke za par metodu u najmanjim kvadratima Sastoji se u sljedećem: za dobijanje takvih procjena parametara, na kojima su zbroj kvadrata odstupanja stvarnih vrijednosti efektivnog znaka - y i na izračunatim vrijednostima minimalna.
Formalno kriterijum MNK. Možete pisati ovako: 
.
Klasifikacija metoda najmanje kvadrata
- Najmanje kvadratna metoda.
- Maksimalna istinita metoda (za normalan klasični linearni regresijski model, normalnost regresijskih ostataka se odgađaju).
- Generalizirana metoda manjih kvadrata OMNA koristi se u slučaju autokorelacije grešaka i u slučaju heterosdastičnosti.
- Metoda suspendiranih najmanjih kvadrata (poseban slučaj OMNA sa hetrijskim ostacima viza).
Ilustrujemo suštinu klasična najmanja kvadratna metoda grafički. Da biste to učinili, konstruiramo raspored točka prema zapažanjima (x I, y i, i \u003d 1; n) u pravokutnog koordinatnog sustava (takva tanka točka naziva se polje korelacije). Pokušat ćemo odabrati ravnu liniju koja je najbliža točkama korelacijskog polja. Prema metodi najmanje kvadrata, linija je odabrana tako da zbroj kvadrata vertikalnih udaljenosti između točaka korelacijskog polja i ove linije bi bili minimalni. 
Matematički zapis ovog zadatka: 
.
Vrijednosti y i x i \u003d 1 ... n poznate su nam, to su to promatrački podaci. U funkciji su konstante. Varijable u ovoj funkciji su željene procjene parametara -,. Da biste pronašli najmanje 2 varijablu funkcije, potrebno je izračunati privatne derivate ove funkcije za svaki od parametara i izjednačavati ih nula, i.e. 
.
Kao rezultat toga, dobivamo sistem od 2 normale linearne jednadžbe: 
Rješavanje ovaj sistem, pronađite željene procjene parametara: 
Ispravnost izračunavanja parametara regresijske jednadžbe može se testirati usporedbom iznosi (možda neke odstupanja zbog proračuna za zaokruživanje).
Da biste izračunali procjene parametara, možete izgraditi tablicu 1.
Regresijski koeficijent znak ukazuje na smjer komunikacije (ako je b\u003e 0, linija je direktna, ako je b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
Formalno vrijednost parametra a je prosječna vrijednost y sa x jednaka nuli. Ako potpisnici nema i ne može imati nultu vrijednost, a zatim gornju interpretaciju parametra i nema smisla.
Procjena nepropusnosti komunikacije između znakova
Izvodi se pomoću linearnog koeficijenta korelacije par - R X, y. Može se izračunati formulom: 
. Pored toga, koeficijent linearne korelacije uparivanja može se odrediti putem regresijskog koeficijenta B: 
.
Područje dopuštenih vrijednosti linearnog koeficijenta parne korelacije par od -1 do +1. Znak korelacije koeficijenta ukazuje na smjer komunikacije. Ako je R X, Y\u003e 0, tada je veza ravna; Ako je r x, y<0, то связь обратная.
Ako je ovaj koeficijent blizu jedan, veza između funkcija može se tumačiti kao prilično bliska linearna. Ako je njegov modul jednak jedinici ê r x, y ê \u003d 1, veza između znakova je funkcionalna linearna. Ako su znakovi x i y linearno neovisni, tada je R X, y blizu 0.
Za izračunavanje R X, y može koristiti i tablicu 1.
Da bi se procijenila kvaliteta dobivene regresijske jednadžbe, izračunava se teorijski koeficijent odlučnosti - R 2 YX: 
,
gde je d 2 disperzija y; objasnjeno regresijskim jednadžbim;
e 2 - preostala (neobjašnjivana regresijska jednadžba) disperzija y;
s 2 Y je ukupno (kompletna) disperzija Y.
Koeficijent odlučnosti karakterizira udio varijacije (disperzije) efektivnog znaka Y, objašnjeno regresijom (i, prema tome, faktor x), u općoj varijaciji (disperzija) y. Koeficijent odluke R 2 YX uzima vrijednosti od 0 do 1. U skladu s tim, vrijednost 1-R 2 YX karakterizira djelić disperzije y uzrokovanog utjecajem drugih neugodnih faktora u modelu i greške u specifikaciji.
Sa uparenim linearnim regresijom R 2 YX \u003d R 2 YX.
Primjer.
Eksperimentalni podaci o varijabilnim vrijednostima H. i W. LED u tabeli. 
Kao rezultat njihovog poravnanja dobivena je funkcija 
Upotreba Najmanje kvadratna metoda, približno ove linearne ovisnosti približiti y \u003d AX + B (Pronađite parametre ali i b.). Saznajte koja je od dva retka bolja (u smislu najmanjih kvadratnih metoda) usklađuje eksperimentalne podatke. Napravite crtež.
Suština metode najmanje kvadrata (MNC).
Zadatak je pronaći koeficijente linearna ovisnost, u kojem funkciju dvije varijable ali i b. 
Uzima najmanju vrijednost. To jest, s podacima ali i b. Zbir kvadrata odstupanja eksperimentalnih podataka iz izravne linije bit će najmanji. Ovo je cijela suština metode najmanje kvadrata.
Stoga, primjer rješenja se svodi na pronalaženje ekstremne funkcije dvije varijable.
Prikazuje formulu za pronalaženje koeficijenata.
Sastavlja se i rješava sistem dvije jednadžbe sa dva nepoznanica. Pronalazimo privatne derivate u varijabilnoj ali i b., izjednačite ove derivate na nulu. 
Riješiti rezultirajuće sustav jednadžbi prema bilo kojoj metodi (na primjer za metodu zamjene ili) i dobivamo formule za pronalaženje koeficijenata pomoću metode najmanje kvadrata (MNC). 
Sa podacima ali i B. funkcija Uzima najmanju vrijednost. Dokaz ove činjenice je dat.
To je cijela metoda najmanje kvadrata. Formula za pronalaženje parametra sVEDOK JOVANOVIĆ - ODGOVOR: Sadrži iznose ,, i parametar n. - Broj eksperimentalnih podataka. Vrijednosti ovih iznosa preporučuje se izračunati odvojeno. Koeficijent b. Smješten nakon izračuna sVEDOK JOVANOVIĆ - ODGOVOR:.
Vrijeme je da se sjetite na primjer izvora.
Odluka.
U našem primjeru N \u003d 5.. Ispunite tablicu za praktičnost izračunavanja iznosi koji su uključeni u formulu željenih koeficijenata. 
Vrijednosti u četvrtoj liniji tablice dobivaju se množenjem vrijednosti 2. niza na vrijednosti 3. niza za svaki broj I..
Vrijednosti u petom liniju tablice dobivaju se izgradnjom 2. niza vrijednosti za svaki broj. I..
Vrijednosti posljednjeg stupca tablice su sume vrijednosti po linijama.
Koristimo formule najmanjih kvadrata za pronalaženje koeficijenata ali i b.. Odgovaramo odgovarajuće vrijednosti iz posljednjeg stupca tablice: 
Otuda, y \u003d 0.165x + 2.184 - željena aproksimažna ravna linija.
Ostaje da saznaju koja od linija y \u003d 0.165x + 2.184 ili Bolje je približiti početne podatke, odnosno procjenjuje se metodom najmanjih kvadrata.
Procjena pogreške metode najmanje kvadrata.
To zahtijeva izračunavanje iznosa kvadrata odstupanja izvornih podataka iz ovih linija. 
i 
Manja vrijednost odgovara liniji koja je bolja u smislu manjih kvadratnih metoda približava izvornim podacima. 
Od tada, odmah y \u003d 0.165x + 2.184 Bolje donosi izvorne podatke.
Grafička ilustracija metode najmanje kvadrata (MNC).
Na grafikonima sve je savršeno vidljivo. Crvena linija je nađena ravno y \u003d 0.165x + 2.184, Plava linija je Ružičaste tačke su izvorni podaci.
Šta je potrebno za sve ove aproksimacije?
Lično koristim za rješavanje problema izglađivanja podataka, interpolacijskog i ekstrapolacijskog problema (u početnom primjeru mogao bi zatražiti da pronađe promatranu vrijednost y. za x \u003d 3. ili za x \u003d 6. Prema MND metodi). Ali razgovarajmo o tome više o tome kasnije u drugom dijelu mjesta.
Dokazi.
Tako što je za pronađeno ali i b. Funkcija je snimila najmanju vrijednost, potrebno je da u ovom trenutku matrica kvadratnog oblika drugog reda diferencijala za funkciju Bilo je pozitivno definirano. Pokaži to.
Diferencijal drugog reda je: 
I.e
Shodno tome, kvadratni matrični oblik je 
a vrijednosti elemenata ne ovise o tome ali i B..
Pokazujemo da je matrica pozitivno definirana. Da biste to učinili, potrebno je da su ugaoni maloletnici pozitivni.
Ugaoni maloljetnik prvog reda 
. Nejednakost je stroga, jer su točke neusklađene. Ubuduće ćemo značiti.
Ugao drugog reda Minor 
To dokazujemo 
način matematičke indukcije.
Izlaz: Pronađene vrijednosti ali i B. Odgovaraju najmanju vrijednost funkcije Stoga su željeni parametri za način najmanjih kvadrata.
Nakon poravnanja, dobivamo funkciju sljedećeg obrasca: g (x) \u003d x + 1 3 + 1.
Možemo približiti ove podatke pomoću linearne ovisnosti Y \u003d A x + B, izračunati odgovarajuće parametre. Da biste to učinili, morat ćemo primjenjivati \u200b\u200btakozvanu malu metodu. Također će biti potrebno napraviti crtež za provjeru koja linija će bolje uskladiti eksperimentalne podatke.
Šta je tačno MNC (metoda najmanje kvadrata)
Glavna stvar koju trebamo učiniti je pronaći takve koeficijente linearne ovisnosti, u kojoj vrijednost funkcije dvije varijable f (a, b) \u003d σ i \u003d 1 n (yi - (axi + b)) 2 hoće biti najmanji. Drugim riječima, po određenim vrijednostima A i B, zbroj kvadrata odstupanja odstupanja dostavljenih podataka iz rezultirajućih izravnih imat će minimalnu vrijednost. To je značenje manjih kvadratnih metoda. Sve što trebamo učiniti da riješimo primjer je pronaći ekstremnu funkciju dvije varijable.
Kako izlaz formula za izračunavanje koeficijenata
Da bi se iznosila formula za izračunavanje koeficijenata, potrebno je sastaviti i riješiti sistem jednadžbi sa dvije varijable. Da biste to učinili, izračunali smo privatne derivate izraza f (a, b) \u003d σ i \u003d 1 n (y i - (a x i + b)) 2 po a i b i izjednačavaju ih na 0.
Δ f (a, b) Δ a \u003d 0 Δ f (a, b) Δ B \u003d 0 ⇔ - 2 Σ I \u003d 1 N (yi - b)) xi \u003d 0 - 2 σ i \u003d 1 n ( yi - (axi + b)) \u003d 0 ⇔ a σ i \u003d 1 nxi 2 + b σ i \u003d 1 nxi \u003d Σ i \u003d 1 nxiyia σ i \u003d 1 nxi + σ i \u003d 1 nb \u003d Σ i \u003d 1 nyi ⇔ a Σ I \u003d 1 NXI 2 + B Σ I \u003d 1 NXI \u003d Σ I \u003d 1 NXIYIA Σ I \u003d 1 NXI + NB \u003d Σ I \u003d 1 NYI
Da biste rešili sistem jednadžbi, možete koristiti bilo koje metode, na primjer, zamjenu ili mačju metodu. Kao rezultat toga, moramo dobiti formule s kojima se izračunavaju koeficijenti prema metodi najmanje kvadrata.
n Σ i \u003d 1 n x i y i - Σ I \u003d 1 n x i σ i \u003d 1 n y i n σ i \u003d 1 n - σ i \u003d 1 n x i 2 b \u003d σ i \u003d 1 n y i - a σ i \u003d 1 n x i n
Izračunali smo promjenjive vrijednosti u kojima funkcioniše
F (a, b) \u003d Σ I \u003d 1 n (y i - (a x i + b)) 2 će uzeti minimalnu vrijednost. U trećem paragrafu dokazujemo zašto je upravo isto.
Ovo je upotreba manjih kvadratnih metoda u praksi. Njegova formula koja se koristi za traženje parametra A, uključuje σ i \u003d 1 n x i, σ i \u003d 1 n y i, σ i \u003d 1 n x i i i ja, σ i \u003d 1 n x i 2 i parametar
N - naznačen je broj eksperimentalnih podataka. Savjetujemo vam da izračunate svaki iznos odvojeno. Vrijednost koeficijenta B izračunava se odmah nakon a.
Ponovno se okrenite izvornom primjeru.
Primjer 1.
Ovdje imamo pet pet. Da biste olakšali izračunavanje potrebnih količina uključenih u formule koeficijenata, ispunite tablicu.
| I \u003d 1. | I \u003d 2. | I \u003d 3. | I \u003d 4. | I \u003d 5. | Σ I \u003d 1 5 | |
| X I. | 0 | 1 | 2 | 4 | 5 | 12 |
| Y i. | 2 , 1 | 2 , 4 | 2 , 6 | 2 , 8 | 3 | 12 , 9 |
| x i ja | 0 | 2 , 4 | 5 , 2 | 11 , 2 | 15 | 33 , 8 |
| X i 2. | 0 | 1 | 4 | 16 | 25 | 46 |
Odluka
Četvrta linija uključuje podatke dobivene množenjem vrijednosti iz drugog reda u treće vrijednosti za svaki pojedinac i. Peti red sadrži podatke iz drugog, uzdignutog na kvadrat. Posljednja kolona sažima vrijednosti pojedinih linija.
Koristimo metodu najmanje kvadrata za izračunavanje koeficijenata koje su vam potrebne i b. Da biste to učinili, zamijenit ćemo željene vrijednosti iz posljednjeg stupca i izračunavamo iznos:
n σ i \u003d 1 nxiyi - Σ I \u003d 1 nyin Σ I \u003d 1 n - σ i \u003d 1 nxi 2 b \u003d σ i \u003d 1 nyi - a σ i \u003d 1 nxin ⇒ a \u003d 5 · 33 8 - 12 · 12, 9 5 · 46 - 12 2 B \u003d 12, 9 - A · 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184
Trebali su nam da željena aproksimacija ravna izgleda kao y \u003d 0, 165 x + 2, 184. Sada moramo odrediti koja će liniju biti bolja da bi se približio podacima - g (x) \u003d x + 1 3 + 1 ili 0, 165 x + 2, 184. Mi ćemo procijeniti pomoću metode najmanje kvadrata.
Da biste izračunali grešku, moramo pronaći iznose kvadrata odstupanja podataka iz izravne σ 1 \u003d σ i \u003d 1 n (yi - (axi + bi)) 2 i σ 2 \u003d σ i \u003d 1 n (yi - G (xi)) 2, minimalna vrijednost će odgovarati prikladnijoj liniji.
Σ 1 \u003d Σ I \u003d 1 N (Yi - (Axi + BI)) 2 \u003d \u003d Σ I \u003d 1 5 (Yi - (0, 165 Xi + 2, 184)) 2 ≈ 0, 019 Σ 2 \u003d Σ I \u003d \u003d 1 n (yi - g (xi)) 2 \u003d \u003d Σ I \u003d 1 5 (yi - (xi + 1 3 + 1)) 2 ≈ 0, 096
Odgovor: Od σ 1.< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y \u003d 0, 165 x + 2, 184.
Metoda najmanje kvadrata jasno je prikazana u grafičkoj slici. Uz pomoć Crvene linije, ravna G (x) \u003d x + 1 + 1, plava - y \u003d 0, 165 x + 2, 184 je označena. Početni podaci označeni su ružičastim tačkima.
Objasnimo da detaljno odgovaramo približavanje sličnog tipa.
Oni se mogu koristiti u zadacima koji zahtijevaju izglađivanje podataka, kao i u onima u kojima podaci trebaju biti interpolirani ili ekstrapolirani. Na primjer, u problemu rastavljen je gore, bilo bi moguće pronaći vrijednost promatrane vrijednosti y na x \u003d 3 ili na x \u003d 6. Takvi primjeri koje smo posvetili poseban članak.
Dokaz o MNK metodi
Da bi funkcija preuzela minimalnu vrijednost s izračunatim A i B, potrebno je da u ovom trenutku matrica kvadratnog oblika diferencijalne funkcije obrasca F (A, B) \u003d Σ I \u003d 1 n ( Yi - (Axi + B)) 2 je pozitivno definisan. Pokažemo kako bi to trebalo izgledati.
Primer 2.
Imamo diferencijal drugog reda:
d 2 f (a; b) \u003d Δ 2 f (a; b) Δ a 2 d 2 a + 2 Δ 2 f (a; b) Δ a δ bdadb + Δ 2 f (a; b) Δ b 2 d 2 B.
Odluka
Δ 2 f (a; b) Δ a 2 \u003d Δ Δ f (a; b) Δ a Δ a \u003d \u003d Δ - 2 σ i \u003d 1 n (yi - (axi + b)) xi δ a \u003d 2 σ \u003d 1 n (xi) 2 Δ 2 f (a; b) Δ a Δ B \u003d Δ Δ f (a; b) Δ a Δ B \u003d \u003d Δ - 2 Σ I \u003d 1 n (yi - (Axi + b) ) xi Δ B \u003d 2 Σ I \u003d 1 nxi Δ 2 f (a; b) Δ B 2 \u003d Δ Δ f (a; b) Δ B Δ B \u003d Δ - 2 Σ I \u003d 1 N (YI - (Axi +) b)) Δ B \u003d 2 Σ I \u003d 1 N (1) \u003d 2 n
Drugim riječima, može se napisati kao: D 2 F (a; b) \u003d 2 σ i \u003d 1 n (xi) 2 d 2 a + 2 · 2 σ xii \u003d 1 i dB + (2 n) d 2 b.
Dobili smo matricu kvadratnog oblika m \u003d 2 σ i \u003d 1 n (x i) 2 2 σ i \u003d 1 n x i 2 σ i \u003d 1 n x i 2 n.
U ovom slučaju vrijednosti pojedinih elemenata neće se razlikovati ovisno o A i B. Da li je ova matrica pozitivno definirana? Da biste odgovorili na ovo pitanje, provjerite jesu li njezini barovi u kut pozitivni.
Izračunajte ugao prvog reda prvog reda: 2 Σ I \u003d 1 N (x i) 2\u003e 0. Budući da se bodovi ne podudaraju, nejednakost je stroga. Imat ćemo to na umu za daljnje proračune.
Izračunajte uglatni malolet drugog reda:
d e t (m) \u003d 2 σ i \u003d 1 n (x i) 2 2 σ i \u003d 1 n x i 2 σ i \u003d 1 n x i 2 n \u003d 4 n σ i \u003d 1 n (x i) 2 - σ i \u003d 1 n x i 2
Nakon toga skrećemo se na dokaz nejednakosti n σ i \u003d 1 n (x i) 2 - σ i \u003d 1 n x i 2\u003e 0 koristeći matematičku indukciju.
- Provjerite da li će ta nejednakost važiti za proizvoljnu n. Uzmite 2 i izračunajte:
2 Σ I \u003d 1 2 (xi) 2 - Σ I \u003d 1 2 xi 2 \u003d 2 x 1 2 + x 2 2 - x 1 + x 2 2 \u003d x 1 2 - 2 x 1 x 2 + x 2 2 \u003d x 1 + x 2 2\u003e 0
Imamo vernu ravnopravnost (ako se vrijednosti X 1 i X 2 ne poklopite).
- Pretpostavljamo da će ta nejednakost biti vjerna n, i.e. n σ i \u003d 1 n (x i) 2 - σ i \u003d 1 n x i 2\u003e 0 je važeći.
- Sada dokazujemo pravdu na N + 1, I.E. koji (N + 1) Σ I \u003d 1 N + 1 (XI) 2 - Σ I \u003d 1 N + 1 XI 2\u003e 0, ako N Σ i \u003d 1 n (xi) 2 je Σ I \u003d 1 NXI 2\u003e 0.
Izračunati:
(n + 1) Σ I \u003d 1 n + 1 (xi) 2 - Σ I \u003d 1 n + 1 xi 2 \u003d (n + 1) σ i \u003d 1 n (xi) 2 + xn + 1 2 - σ i \u003d 1 NXI + XN + 1 2 \u003d n Σ I \u003d 1 N (XI) 2 + N Σ + 1 2 + Σ I \u003d 1 N (xi) 2 + XN + 1 2 - - Σ I \u003d 1 NXI 2 + 2 Xn + 1 Σ I \u003d 1 NXI + XN + 1 2 \u003d Σ I \u003d 1 N (xi) 2 - Σ I \u003d 1 NXI 2 + N · XN + 1 2 - XN + 1 Σ I \u003d 1 NXI + Σ I \u003d 1 1 n (xi) 2 \u003d \u003d Σ I \u003d 1 n (xi) 2 - σ i \u003d 1 nxi 2 + xn + 1 2 - 2 xn + 1 x 1 + x 1 2 + + xn + 1 2 - 2 xn + 1 x 2 + x 2 2 +. . . + XN + 1 2 - 2 XN + 1 X 1 + XN 2 \u003d \u003d n Σ I \u003d 1 N (xi) 2 - Σ I \u003d 1 NXI 2 + + (XN + 1 - X 1) 2 + (XN + 1 - X 2) 2 +. . . + (x N - 1 - x N) 2\u003e 0
Izraz zaključen u kovrčavim zagradama bit će veći od 0 (na osnovu onoga što smo pretpostavili u stavku 2), a preostali pojmovi bit će veći od 0, jer su svi kvadrati brojeva. Dokazali smo nejednakost.
Odgovor: Pronađen će A i B odgovarati najmanju vrijednost funkcije F (A, B) \u003d Σ I \u003d 1 N (YI - (Axi + B)) 2, to znači da su željeni parametri metode najmanje kvadrata ( MNK).
Ako primijetite grešku u tekstu, odaberite ga i pritisnite Ctrl + Enter
Odabirom vrste regresijske funkcije, I.E. Vrsta modela ovisnosti ovisnosti y od x (ili x s y), na primjer, linearni model y x \u003d A + BX, potrebno je odrediti određene vrijednosti koeficijenata modela.
Po različitim vrijednostima, A i B, beskonačan broj ovisnosti obrasca YX \u003d A + BX može se izgraditi na koordinatnom ravninu, postoji beskonačan broj direktnih, potrebna nam je i takva ovisnost koja odgovara promatranim vrijednostima na najbolji mogući način. Stoga se zadatak svodi na izbor najboljih koeficijenata.
Linearna funkcija A + BX tražimo, na osnovu samo nekoliko postojećih zapažanja. Da biste pronašli funkciju s najboljom poštivanjem promatranih vrijednosti, koristimo metodu najmanjih kvadrata.
Označite: y i - vrijednost izračunata jednadžbama y i \u003d a + bx i. Y I ja sam izmjerena vrijednost, ε i \u003d y ja sam - razlika između mjerenja i izračunati vrijednosti jednadžbe, ε i \u003d y i -a-bx i.
U najmanjim kvadratima, ε I, razlika između mjerenih y i vrijednosti izračunatih vrijednosti jednadžbe y bila sam minimalna. Stoga nađemo koeficijente A i B tako da zbroj kvadrata odstupanja opaženih vrijednosti iz vrijednosti na ravnu liniju regresije pokazalo se najmanjim:
Istraživanje ove funkcije argumenata A i korištenje derivata do ekstremike, može se dokazati da funkcija poduzima minimalnu vrijednost ako su koeficijenti A i B sistemskih rješenja:
(2)
Ako podijelimo oba dijela normalnih jednadžbi na n, onda imamo:
S obzirom na to 
(3)
Primiti 
Odavde zamjenjuju vrijednost A u prvoj jednadžbi, dobivamo:
Istovremeno, B se naziva regresijski koeficijent; A se naziva besplatnim članom regresijske jednadžbe i izračunava se prema formuli:
Rezultirajući direktan je procjena za teorijsku regresiju. Imamo:
Dakle, 
To je jednadžba linearne regresije.
Regresija može biti ravna (b\u003e 0) i obrnuto (b primjer 1. Rezultati mjerenja X i Y vrijednosti su navedeni u tablici:
| x I. | -2 | 0 | 1 | 2 | 4 |
| y i. | 0.5 | 1 | 1.5 | 2 | 3 |
Pod pretpostavkom da između x i y postoji linearna ovisnost Y \u003d A + BX, koja metoda najmanje kvadrata određuje koeficijente A i b.
Odluka. Ovdje n \u003d 5
x I \u003d -2 + 0 + 1 + 2 + 4 \u003d 5;
x I 2 \u003d 4 + 0 + 1 + 4 + 16 \u003d 25
x I y I \u003d -2 0,5 + 0 1 + 1 1,5 + 2 2 + 4 3 \u003d 16,5
y I \u003d 0,5 + 1 + 1,5 + 2 + 3 \u003d 8
i normalan sistem (2) ima obrazac 
Rješavanje ovog sistema, dobivamo: b \u003d 0,425, a \u003d 1.175. Stoga, y \u003d 1,175 + 0,425x.
Primjer 2. Postoji uzorak od 10 opažanja ekonomskih pokazatelja (x) i (y).
| x I. | 180 | 172 | 173 | 169 | 175 | 170 | 179 | 170 | 167 | 174 |
| y i. | 186 | 180 | 176 | 171 | 182 | 166 | 182 | 172 | 169 | 177 |
Potrebno je pronaći selektivnu regresijsku jednadžbu na X. izgraditi selektivnu regresiju Y na X.
Odluka. 1. Organiziraćemo podatke o vrijednostima x i i i i i i i i i i i i i i i i i i i y i i i ja). Dobijamo novu tablicu:
| x I. | 167 | 169 | 170 | 170 | 172 | 173 | 174 | 175 | 179 | 180 |
| y i. | 169 | 171 | 166 | 172 | 180 | 176 | 177 | 182 | 182 | 186 |
Da biste pojednostavili proračune, napravit ćemo izračunatu tablicu u koju donosite potrebne numeričke vrijednosti.
| x I. | y i. | x i 2. | x i ja |
| 167 | 169 | 27889 | 28223 |
| 169 | 171 | 28561 | 28899 |
| 170 | 166 | 28900 | 28220 |
| 170 | 172 | 28900 | 29240 |
| 172 | 180 | 29584 | 30960 |
| 173 | 176 | 29929 | 30448 |
| 174 | 177 | 30276 | 30798 |
| 175 | 182 | 30625 | 31850 |
| 179 | 182 | 32041 | 32578 |
| 180 | 186 | 32400 | 33480 |
| Σx I \u003d 1729 | Σy I \u003d 1761 | Σx i 2 299105 | Σx i y i \u003d 304696 |
| x \u003d 172.9 | y \u003d 176.1 | x i 2 \u003d 29910.5 | xy \u003d 30469.6 |
Prema formuli (4), izračunajte regresijski koeficijent
i prema formuli (5)
Dakle, regresijska selektivna jednadžba ima oblik y \u003d -59.34 + 1.3804x.
Primjena na koordinatnom ravninu tačke (x i; y i) i zabilježite izravnu regresiju.
Slika 4.
Slika 4 prikazuje kako se promatrane vrijednosti nalaze u odnosu na regresijsku liniju. Za numeričku procjenu odstupanja y i od i, gdje sam uočen, a ja sam određen regresijom vrijednosti, bit će tablica:
| x I. | y i. | Y i. | Y ja sam |
| 167 | 169 | 168.055 | -0.945 |
| 169 | 171 | 170.778 | -0.222 |
| 170 | 166 | 172.140 | 6.140 |
| 170 | 172 | 172.140 | 0.140 |
| 172 | 180 | 174.863 | -5.137 |
| 173 | 176 | 176.225 | 0.225 |
| 174 | 177 | 177.587 | 0.587 |
| 175 | 182 | 178.949 | -3.051 |
| 179 | 182 | 184.395 | 2.395 |
| 180 | 186 | 185.757 | -0.243 |
Vrijednosti y Izračunavaju se prema regresijskoj jednadžbi.
Primjetno odstupanje nekih promatranih vrijednosti iz regresijske linije objašnjava se malim brojem zapažanja. U studiji stupnja linearne ovisnosti y od X, uzima se u obzir broj opažanja. Snaga ovisnosti određuje se koeficijentom korelacije.
