Izračun metode najmanje kvadrata. Tamo gdje se primjenjuje metoda najmanje kvadrata

Metoda najmanje kvadrata (MNA, engleski. Obični najmanje kvadrati, OLS) -- matematička metodaKoristi se za rješavanje različitih zadataka na temelju minimiziranja zbroja kvadrata odstupanja određenih funkcija iz željenih varijabli. Može se koristiti za "rješavanje" redefiniranih sustava jednadžbi (kada broj jednadžbi premašuje broj nepoznatog), za traženje rješenja u slučaju konvencionalnih (neredefiniranih) nelinearnih sustava jednadžbi, za aproksimaciju vrijednosti točke Po nekoj funkciji. MNA je jedna od osnovnih metoda regresijske analize za procjenu nepoznatih parametara regresijskih modela na selektivnim podacima.

Suština metode najmanje kvadrata

Pretpostavimo da je skup nepoznatih varijabli (parametara) skup funkcija iz ovog skupa varijabli. Zadatak je odabir takvih vrijednosti x kako bi vrijednosti ovih funkcija što bliže nekim vrijednostima. U osnovi govorimo o "rješenjima" redefiniranog sistema jednadžbi u određenom smislu maksimalne blizine lijeve i desne dijelove sistema. Suština MNA je odabrati kao "mjeru blizine" zbroja kvadrata odstupanja lijeve i desne dijelove. Dakle, suština MNK-a može se izraziti na sljedeći način:

U slučaju da sistem jednadžbi ima rješenje, tada će barem zbroj kvadrata biti nula i tačna rješenja sistema jednadžbi analitički ili, na primjer, mogu se pronaći različitim metodama numeričke optimizacije. Ako je sistem nadjača, koji govori o neverovatnoj, broj nezavisnih jednadžbi veći je od broja željenih varijabli, sustav nema precizno rješenje i metodu najmanje kvadrata omogućava vam da nađete neki "optimalni" vektor U smislu maksimalne blizine vektora i maksimalno blizina nenormalnog vektora do nule (blizina shvaća se u smislu euklidske udaljenosti).

Primjer - linearne sustav jednadžbe

Konkretno, metoda najmanjih kvadrata može se koristiti za "riješiti" sistem linearnih jednadžbi

ako matrica nije kvadratna, već pravokutna veličina (tačnije rang matrice a veći je od broja željenih varijabli).

Takav sistem jednadžbi, uopšte nema rješenje. Stoga se ovaj sustav može "riješiti" samo u smislu odabira takvog vektora kako bi se minimizirala "udaljenost" između vektora i. Da biste to učinili, možete primijeniti kriterij za minimiziranje zbroja kvadrata razlike između lijevih i desnih dijelova jednadžbi sustava, odnosno. Lako je pokazati da rješenje ovog problema minimiziranja dovodi do rješenja sljedećeg sustava jednadžbi

Korištenje operatora prijenosa pseudo, rješenje se može prepisati na sljedeći način:

gdje je pseudo-muška matrica za.

Ovaj se zadatak može "riješiti" koristeći takozvani ponderirani MNC (vidi dolje), kada različite jednadžbe sustava dobiju različitu težinu od teorijskih razmatranja.

Strogi subvencioniranje i uspostavljanje granica smislene primjene metode dana A. A. Markov i A. N. Kolmogorov.

MNG u regresijskoj analizi (aproksimacija podataka) [uredi | Uredi Vicky Text] Neka postoje vrijednosti neke varijable (mogu biti rezultati zapažanja, eksperimenata itd.) I odgovarajuće varijable. Zadatak je osigurati da veza između i približavanja neke funkcije poznate nekim nepoznatim parametrima u stvari, to je zapravo najbolje vrijednosti Parametri, najviše približava vrijednostima stvarnim vrijednostima. U stvari, to se smanjuje na slučaj "rješenja" redefiniranog sistema jednadžbi relativno:

U regresijskoj analizi i posebno postoje vjerovatno vjerovatno modeli odnosa između varijabli i u ekonometriji

gde - takozvani slučajne greške u modelu.

U skladu s tim, odstupanja promatranih vrijednosti iz modela su već u samom modelu. Suština MNA (obična, klasična) je pronaći takve parametre u kojima se zbroj kvadrata odstupanja (greške za regresijske modele često nazivaju regresijskim ostacima) bit će minimalne:

gdje je engleski. Preostala suma kvadrata definirana je kao:

Općenito, rješenje ovog problema može se provesti numeričkim metodama optimizacije (minimiziranje). U ovom slučaju razgovaraju o nelinearnim MNG-u (NLS ili NLLS - engleski. Nelinearni najmanje kvadrati). U mnogim slučajevima možete dobiti analitičko rješenje. Da biste rešili problem minimiziranja, potrebno je pronaći stacionarne tačke funkcije režijom njega prema nepoznatim parametrima, izjednačavajući derivate do nule i rješavanja nastalih sustava jednadžbi:

MNA u slučaju linearne regresije [uredi | uredi wiki tekst]

Neka regresijska ovisnost bude linearna:

Neka je Y vector-stupac promatranja objašnjenja i odabir promatranja faktora (redovi matrice - vektori faktora u ovom zapažanju, prema stupcima - vektorskim vrijednostima ovog faktora u svim zapažanjima) . Reprezentacija matrice linearnog modela je:

Tada će procjena vektora objašnjenja i regresijski ostaci biti jednaki

u skladu s tim, zbroj kvadrata regresijskih ostataka bit će jednak

Razlikovanje ove funkcije vektorom parametara i izjednačavanja derivata do nule, dobivamo sistem jednadžbi (u matričnoj formi):

U dešifriranom obliku matrice, ovaj sistem jednadžbi je sljedeći:

gde su sve količine uzimane u svim važećim vrednostima.

Ako model uključuje konstanta (kao i obično), pa, pa, dakle, u gornjem lijevom uglu matrice sustava jednadžbe postoji niz opažanja, a u ostalim elementima prvog reda i prvog stupca - Jednostavno količina varijabilnih vrijednosti: i prvi element desnog dijela sistema -.

Rješenje ovog sustava jednadžbi i daje opću formulu za procjene MN-a za linearni model:

Za analitičke svrhe, potonje zastupljenost ove formule korisno je (u sistemu jednadžbi u dijeljenju N, umjesto iznosi izgledaju prosječni aritmetički). Ako su podaci centrirani u regresijskom modelu, zatim u ovom zastupniku, prva matrica ima smisla za selektivnu kovarijantnu matricu faktora, a druga - vektor kovarijane faktora sa zavisnim varijablom. Ako su, pored toga, podaci i dalje informirani o brzini (to je, na kraju standardizirano), tada prva matrica ima značenje selektivne korelacijske matrice faktora, drugog vektora - vektor selektivnih korelacija faktora sa zavisnim varijablom .

Važno svojstvo MNA procjena za modele sa konstantnom - linija izgrađene regresije prelazi kroz težište uzoraka podataka, odnosno, jednakost se vrši:

Konkretno, kao krajnje sredstvo, kada je jedini regres konstantni, dobivamo da je MNC-evaluacija jednog parametra (zapravo konstantne) jednak prosječnoj vrijednosti promjenjive objašnjenja. To jest, aritmetički prosjek, poznat po dobrim svojstvima iz zakona velikih brojeva, također je procjena MNK-a - zadovoljava kriterij minimalnog zbroja kvadrata odstupanja od nje.

Najjednostavniji privatni događaji [uredi | uredi wiki tekst]

U slučaju uparene linearne regresije, kada se procjenjuje linearna ovisnost jedne varijable iz druge, formule izračuna su pojednostavljene (možete učiniti bez matrične algebre). Sistem jednadžbi je:

Odavde je lako pronaći ocjene koeficijenata:

Uprkos činjenici da u općem slučaju modela sa stalnim poželjnim, u nekim je slučajevima poznato iz teorijskih razmatranja da bi konstanta trebala biti nula. Na primjer, u fizici, ovisnost između napona i struje ima obrazac; Mjerna napetost i trenutna snaga, potrebno je procijeniti otpor. U ovom slučaju govorimo o modelu. U ovom slučaju, umesto sistema jednadžbi, imamo jedina jednadžba

Shodno tome, formula za procjenu jedinog koeficijenta ima oblik

Statistička svojstva procjene MNK [uredi | uredi wiki tekst]

Prije svega, primjećujemo da su za linearne modele MNA procjena linearne procjene, kako slijedi iz gore navedene formule. Procjene MNK-a su neophodne i dovoljno implementiraju najvažnije uslove za regresijsku analizu: uslovljene faktorima Matematičko očekivanje slučajne greške treba biti nula. Izvodi se ovo stanje, ako je matematičko očekivanje slučajnih grešaka nula, a faktori i slučajne greške su neovisne nasumične varijable.

Prvi uvjet se može smatrati uvijek za modele sa konstantnom, jer konstanta preuzima nerrosko matematičko očekivanje grešaka (dakle su modeli sa stalnom općenitom općenitom). Najmanja kvadratna regresija kovarijantna

Drugi je stanje stanje egzogenih faktora - direktora. Ako se ovo nekretnine ne ispuni, može se pretpostaviti da će gotovo svake procjene biti izuzetno nezadovoljavajuće: neće biti ni zakonske (odnosno čak i vrlo velika količina podataka u ovom slučaju ne dopušta pribavljanje kvalitativnih procjena u ovom slučaju). U klasičnom slučaju se vrši jača pretpostavka određivanja faktora, za razliku od nasumične pogreške, koja automatski znači ispunjenje tvogentnosti. Općenito, za dosljednost procjena, dovoljno je izvesti konzerviranje tvogencijske konvergencije matrice do određene ne-degenerirane matrice s povećanjem veličine uzorka do beskonačnosti.

Pored dosljednosti i nepoboćnosti, procjene (uobičajene), MNC su također učinkovito (najbolje u klasi linearnih neoštećivih procjena) zahtijeva dodatna svojstva slučajne pogreške:

Trajna (jednaka) disperzija slučajnih grešaka u svim zapažanjima (nedostatak heterosdastičnosti):

Nema korelacije (autokorelacija) slučajnih grešaka u različitim opažanjima među sobom

Te se pretpostavke mogu formulirati za kovarijantnu matricu slučajnih grešaka.

Linearni model koji zadovoljava takve uslove naziva se klasičnim. MNK-evaluacija za klasičnu linearnu regresiju su najefikasnija procjena u klasi svih linearnih neobičnih procjena (u engleskom jeziku literature ponekad koriste najbolji linearni nepristrani procjenu - najbolju linearnu nedvosmislenu procjenu; Gauss Theorem je češće dat u domaćoj literaturi. Markova). Kako se lako pokazuje, kovarijantna matrica izgleda koeficijenata bit će jednaka:

Učinkovitost znači da je ova kovarijantna matrica "minimalna" (bilo koja linearna kombinacija koeficijenata, a posebno koeficijenti sami, imaju minimalnu disperziju), odnosno u klasi linearnih nevjerovatnih procjena MNK-a. Dijagonalni elementi ove matrice - Procjene koeficijenata važni su parametri kvaliteta procjena. Međutim, nemoguće je izračunati kovarijantnu matricu, jer je disperzija slučajnih grešaka nepoznata. Može se dokazati da je neograničena i bogati (za klasični linearni model) procjena disperzije slučajnih grešaka je vrijednost:

Zamjena ove vrijednosti u formuli za kovarijantnu matricu i dobijte procjenu matrice kovarijane. Dobivene procjene također se pripisuju i bogato. Također je važno da evaluacija disperzije greške (i zato su disperzije koeficijenata) i procjene parametara modela su neovisni slučajne vrijednostiTo vam omogućava da postavite statistiku testiranja za testiranje hipoteza o koeficijentima modela.

Treba napomenuti da ako se klasične pretpostavke nisu ispunjene, procjene MNK-a parametri nisu najefikasnije procjene (preostale neosigurane i dosljedne). Međutim, evaluacija kovarijantne matrice još je više pogoršavanja - ona se pomaknu s jeftino. To znači da statistički zaključci o kvaliteti izgrađenog modela u ovom slučaju mogu biti izuzetno nepouzdani. Jedna od mogućnosti za rješavanje posljednjeg problema je upotreba posebnih procjena kovarijantne matrice, koja su bogata kršenjima klasičnih pretpostavki (standardne pogreške u obliku bijelih i standardnih grešaka u obliku nove usta). Drugi pristup je primijeniti takozvani generalizirani MNC.

Generalizirani MNC [uredi | uredi wiki tekst]

Glavni članak: Generalizirana metoda najmanje kvadrata

Metoda najmanje kvadrata omogućava široku generalizaciju. Umjesto da minimizira zbroj kvadrata ostataka, možete minimizirati neki pozitivno definirani kvadratni oblik od preostalog vektora, gdje - neke simetrične pozitivno definirane matrice matrice težine. Normalni MNC je poseban slučaj ovog pristupa, kada je matrica težine proporcionalna jednoj matrici. Kao što je poznato iz teorije simetričnih matrica (ili operatera) za takve matrice postoji raspadanje. Stoga se određena funkcionalnost može predstavljati na sljedeći način.

odnosno, ova funkcionalnost može biti predstavljena kao zbroj kvadrata nekih pretvorenih "ostataka". Stoga možete odabrati klasu najmanjih kvadrata - LS-metode (najmanje kvadrata).

Dokazana je (Theorem Aitken), koji za generalizirani linearni regresijski model (u kojem se ne nametnu ograničenja nasumičnoj matrici slučajnih grešaka) najučinkovitije su (u klasi linearnih nepovezanih procjena) procjene T.N. Generalizirani MNC (omna, gls - generalizirani najmanje kvadrati) - LS metode s matricom težine jednaka reverznom kovarijanskom matricu slučajnih grešaka :.

Može se pokazati da formula za OMNA-procjene parametara linearnog modela imaju obrazac

Kovarijantna matrica ovih procjena bit će jednaka

U stvari, suština OMNA je specifična (linearna) transformacija (p) izvornih podataka i upotreba običnog MNC-a za transformiranje podataka. Svrha ove transformacije je za pretvorene slučajne pogreške u podacima već zadovoljavaju klasične pretpostavke.

Težini MNC [uredi | uredi wiki tekst]

U slučaju dijagonalne matrice za težinu (i otuda kovarijantna matrica slučajnih grešaka) imamo takozvanu ponderisanu MNA (WLS - ponderirani najmanje kvadrat). U ovom slučaju, ponderirani zbroj kvadrata ostataka modela je minimiziran, odnosno svako zapažanje prima "težinu", obrnuto proporcionalnu disperziju slučajne greške u ovom zapažanju:

U stvari, podaci se pretvaraju vaganjem opažanja (podjela po veličini proporcionalnom na predviđenu standardna devijacija Slučajne pogreške), a obična MNA odnosi se na suspendirane podatke.

Odabirom vrste regresijske funkcije, I.E. Vrsta modela ovisnosti ovisnosti y od x (ili x s y), na primjer, linearni model y x \u003d A + BX, potrebno je odrediti određene vrijednosti koeficijenata modela.

Po različitim vrijednostima, A i B, beskonačan broj ovisnosti obrasca YX \u003d A + BX može se izgraditi na koordinatnom ravninu, postoji beskonačan broj direktnih, potrebna nam je i takva ovisnost koja odgovara promatranim vrijednostima na najbolji mogući način. Stoga se zadatak svodi na izbor najboljih koeficijenata.

Linearna funkcija A + BX tražimo, na osnovu samo nekoliko postojećih zapažanja. Da biste pronašli funkciju s najboljom poštivanjem promatranih vrijednosti, koristimo metodu najmanjih kvadrata.

Označite: y i - vrijednost izračunata jednadžbama y i \u003d a + bx i. Y I ja sam izmjerena vrijednost, ε i \u003d y ja sam - razlika između mjerenja i izračunati vrijednosti jednadžbe, ε i \u003d y i -a-bx i.

U najmanjim kvadratima, ε I, razlika između mjerenih y i vrijednosti izračunatih vrijednosti jednadžbe y bila sam minimalna. Stoga nađemo koeficijente A i B tako da zbroj kvadrata odstupanja opaženih vrijednosti iz vrijednosti na ravnu liniju regresije pokazalo se najmanjim:

Istraživanje ove funkcije argumenata A i korištenje derivata do ekstremike, može se dokazati da funkcija poduzima minimalnu vrijednost ako su koeficijenti A i B sistemskih rješenja:

(2)

Ako podijelimo oba dijela normalnih jednadžbi na n, onda imamo:

S obzirom na to (3)

Primiti Odavde zamjenjuju vrijednost A u prvoj jednadžbi, dobivamo:

Istovremeno, B se naziva regresijski koeficijent; A se naziva besplatnim članom regresijske jednadžbe i izračunava se prema formuli:

Rezultirajući direktan je procjena za teorijsku regresiju. Imamo:

Dakle, To je jednadžba linearne regresije.

Regresija može biti ravna (b\u003e 0) i obrnuto (b primjer 1. Rezultati mjerenja X i Y vrijednosti su navedeni u tablici:

x I.	-2	0	1	2	4
y I.	0.5	1	1.5	2	3

Pod pretpostavkom da između x i y postoji linearna ovisnost Y \u003d A + BX, koja metoda najmanje kvadrata određuje koeficijente A i b.

Odluka. Ovdje n \u003d 5
x I \u003d -2 + 0 + 1 + 2 + 4 \u003d 5;
x I 2 \u003d 4 + 0 + 1 + 4 + 16 \u003d 25
x I y I \u003d -2 0,5 + 0 1 + 1 1,5 + 2 2 + 4 3 \u003d 16,5
y I \u003d 0,5 + 1 + 1,5 + 2 + 3 \u003d 8

i normalan sistem (2) ima obrazac

Rješavanje ovog sistema, dobivamo: b \u003d 0,425, a \u003d 1.175. Stoga, y \u003d 1,175 + 0,425x.

Primjer 2. Postoji uzorak od 10 opažanja ekonomskih pokazatelja (x) i (y).

x I.	180	172	173	169	175	170	179	170	167	174
y I.	186	180	176	171	182	166	182	172	169	177

Potrebno je pronaći selektivnu regresijsku jednadžbu na X. izgraditi selektivnu regresiju Y na X.

Odluka. 1. Organiziraćemo podatke o vrijednostima x i i i i i i i i i i i i i i i i i i i y i i i ja). Dobijamo novu tablicu:

x I.	167	169	170	170	172	173	174	175	179	180
y I.	169	171	166	172	180	176	177	182	182	186

Da biste pojednostavili proračune, napravit ćemo izračunatu tablicu u koju donosite potrebne numeričke vrijednosti.

x I.	y I.	x i 2.	x i ja
167	169	27889	28223
169	171	28561	28899
170	166	28900	28220
170	172	28900	29240
172	180	29584	30960
173	176	29929	30448
174	177	30276	30798
175	182	30625	31850
179	182	32041	32578
180	186	32400	33480
Σx I \u003d 1729	Σy I \u003d 1761	Σx i 2 299105	Σx i y i \u003d 304696
x \u003d 172.9	y \u003d 176.1.	x i 2 \u003d 29910.5	xy \u003d 30469.6

Prema formuli (4), izračunajte regresijski koeficijent

i prema formuli (5)

Dakle, regresijska selektivna jednadžba ima oblik y \u003d -59.34 + 1.3804x.
Primjena na koordinatnom ravninu tačke (x i; y i) i zabilježite izravnu regresiju.

Slika 4.

Slika 4 prikazuje kako se promatrane vrijednosti nalaze u odnosu na regresijsku liniju. Za numeričku procjenu odstupanja y i od i, gdje sam uočen, a ja sam određen regresijom vrijednosti, bit će tablica:

x I.	y I.	Y I.	Y ja sam
167	169	168.055	-0.945
169	171	170.778	-0.222
170	166	172.140	6.140
170	172	172.140	0.140
172	180	174.863	-5.137
173	176	176.225	0.225
174	177	177.587	0.587
175	182	178.949	-3.051
179	182	184.395	2.395
180	186	185.757	-0.243

Vrijednosti y Izračunavaju se prema regresijskoj jednadžbi.

Primjetno odstupanje nekih promatranih vrijednosti iz regresijske linije objašnjava se malim brojem zapažanja. U studiji stepena linearna ovisnost Y od x broju opažanja uzima se u obzir. Snaga ovisnosti određuje se koeficijentom korelacije.

Što je šira primjena u različitim oblastima nauke i praktične aktivnosti. To može biti fizika, hemija, biologija, ekonomija, sociologija, psihologija i tako dalje. Volja sudbine često se mora baviti ekonomijom, a samim tim i danas ću vas izvesti mlađi u neverovatnom zemlju koja se zove Ekonometričan \u003d) ... Kako to ne želite?! Vrlo je dobro - samo trebate odlučiti! ... Ali evo činjenice da vjerovatno definitivno želite - to je naučiti rješavanje zadataka metoda najmanje kvadrata. A posebno marljivi čitači naučili će ih riješiti ne samo nepogrešivo, već i vrlo brzo ;-) ali prvo opće postavke zadatka + Srodni primer:

Pretpostavimo da se istražuju u nekoj temi pokazatelji koji imaju kvantitativni izraz. U ovom slučaju postoji svaki razlog za vjerovanje da pokazatelj ovisi o pokazatelju. Ova pomoć može biti kao naučna hipoteza, kao i na osnovu osnovnog zdrav razum. Ostavite, međutim, nauci i istražite više apetit područja - naime, prodavnice hrane. Označavaju:

- trgovački prostor trgovine hrane, sq.m.,
- Godišnji promet prodavnice hrane, milion rubalja.

Jasno je da je veća površina trgovine, što će više u većini slučajeva biti više svog prometa.

Pretpostavimo da su nakon provedbe opažanja / eksperimenata / brojeva / plesova sa tamburom na raspolaganju numerički podaci:

S gostima, mislim da je sve jasno: - Ovo je područje 1. trgovine, - njegov godišnji promet, - područje 2. prodavnice, - njegov godišnji promet itd. Usput, nije potrebno imati pristup tajnim materijalima - uopšte se može dobiti prilično tačna procjena prometa matematička statistika. Međutim, mi ne ometamo, tok komercijalne špijunaže je već plaćen \u003d)

Tabarski podaci mogu se napisati i u obliku točaka i prikazati na uobičajeno za nas. cartezijski sistem .

Odgovor na važno pitanje: koliko bodova je potrebno za visokokvalitetne istraživanje?

Što je veće, to bolje. Minimalni dopušteni set sastoji se od 5-6 bodova. Pored toga, sa malom količinom podataka, "nenormalni" rezultati ne mogu biti uključeni u uzorak. Dakle, na primer, mala elitna prodavnica može pomoći više "njihovih kolega", čime se iskrivljava ukupni obrazac, koji je potreban za pronalazak!

Ako samo trebate odabrati funkciju, raspored koji prolazi kao blizu bodova . Ova se funkcija naziva približan (aproksimacija - aproksimacija) ili teorijska funkcija . Generalno gledano, ovdje se odmah pojavljuje očigledno "podnositelj zahtjeva" - visokim stupnjem, čiji raspored prolazi kroz sve točke. Ali ova je opcija komplicirana, a često samo netačna (jer će raspored sve vrijeme biti "petlja" i slabo odražava glavni trend).

Dakle, željena funkcija treba biti prilično jednostavna i istovremeno odražava ovisnost adekvatno. Kako valjda, jedna od metoda pronalaženja takvih funkcija i naziva se metoda najmanje kvadrata. Prvo ćemo ga analizirati uopšte. Neka neka funkcija donosi eksperimentalne podatke:


Kako procijeniti tačnost ove aproksimacije? Izračunati i razlike (odstupanja) između eksperimentalnih i funkcionalnih vrijednosti (Učenje crteža). Prva misao koja vam pada na pamet je da procijenite koliko je iznos velik, ali problem je da razlike mogu biti negativne (npr. ) I odstupanja kao rezultat ovog saženja bit će međusobno razdvojeni. Stoga je kao procjena tačnosti aproksimacije, pogodno je prihvatiti iznos moduli Odstupanja:

ili u upletenom obliku: (Iznenada netko ne zna: - ovo je ikona zbroja i pomoćna varijabla "brojač", koji uzima vrijednosti od 1 do).

Približavanje eksperimentalnim bodovima razne funkcije, Dobit ćemo različite vrijednosti i očito, gdje je taj iznos manji - funkcija je tačnija.

Ova metoda postoji i naziva se metoda najmanje modula. Međutim, u praksi je dobio mnogo više distribucije najmanje kvadratna metodaU kojim se mogućim negativnim vrijednostima ne eliminiraju modul, već izgradnja odstupanja na trgu:

, nakon čega su napori usmjereni na izbor takve funkcije tako da zbroj kvadrata odstupanja Bilo je to što je manje moguće. Zapravo, otuda i ime metode.

A sada se vraćamo drugom važan trenutak: Kao što je gore navedeno, odabrana funkcija treba biti sasvim jednostavna - ali postoji i puno takvih funkcija: linearan , hiperbolički, eksponencijalan, logaritamski, kvadratni itd. I, naravno, to bi odmah želio "smanjiti polje aktivnosti". Koju klasu funkcija da odaberete za istraživanje? Primitivni, ali efikasan prijem:

- najlakše za prikazivanje bodova Na crtežu i analizirati njihovu lokaciju. Ako se obično postavljaju u ravnu liniju, tada biste trebali pretraživati jednadžba direktna sa optimalnim vrijednostima i. Drugim riječima, izazov je pronaći takve koeficijente - tako da je zbroj kvadrata odstupanja najmanji.

Ako se bodovi nalaze, na primjer, po hiperball, Nije jasno da će linearna funkcija dati lošu aproksimaciju. U ovom slučaju tražimo najviše "profitabilnih" koeficijenata za hiperbole jednadžbe - oni koji daju minimalnu sumu kvadrata .

Sad napominju da u oba slučaja govorimo o tome funkcije dvije varijablečiji su argumenti parametri željenih zavisnosti:

I u suštini, moramo riješiti standardni zadatak - pronaći minimalna funkcija dve varijable.

Podsjetimo na našeg primjera: Pretpostavimo da se "trgovina" bodova postavljaju u pravoj liniji i postoji svaki razlog da to pretpostavimo linearna ovisnost Promet robe iz trgovačkog područja. Takve koeficijente pronaći ćemo "A" i "biti" do zbroja kvadrata odstupanja Bila je to najmanja. Sve je kao i obično - prvo privatni derivati \u200b\u200bprvog reda. Prema pravilo linearnosti Možete razlikovati direktno pod ikoni iz iznosa:

Ako želite koristiti ove informacije za esej ili tečajeve - bit ću vam vrlo zahvalan na listi na listi izvora, takva detaljna proračuna naći će malo gdje:

Napravimo standardni sistem:

Svaku jednadžba smanjujemo na "DEUCE" i, pored toga, "Sažmi" iznosi:

Bilješka : Nezavisno analizirajte zašto se "A" i "be" može izvući iz ikone zbroja. Usput, može se učiniti formalno sa iznosom

Prepišite sistem u "primijenjenom" obliku:

Nakon toga pokrenut je algoritam rješavanja naših zadataka:

Koordinate bodova Znamo? Mi znamo. Iznos Možemo li pronaći? Lako. Čine jednostavniji Sistem dvije linearne jednadžbe sa dva nepoznata("A" i "BE"). Sistem rješavanja, na primjer, metoda krmeKao rezultat toga, dobivamo stacionarnu tačku. Provjeravanje dovoljan uvjet ekstremiranja, možete biti sigurni da u ovom trenutku funkcija Doseže tačno minimum. Provjera je povezana s dodatnim proračunima i zato ga ostavite za scene (Ako je potrebno, može se pregledati okvir koji nedostaje). Završni zaključak donosimo:

Funkcija najbolji način (barem u odnosu na bilo koju drugu linearnu funkciju) Veže eksperimentalne točke . Grubo gledano, njen raspored prolazi što je moguće bliže tim bodovima. U tradiciji ekonometričnost Naziva se i rezultirajuća približna funkcija jednadžba uparene linearne regresije .

Problem koji se razmatra ima veliku praktičnu vrijednost. U situaciji sa našim primjerom, jednadžba Omogućuje vam predviđanje kojim trgovinskim prometom ("Igarek") bit će u trgovini, s drugom vrijednošću trgovačkog područja (Tom ili drugo značenje "x"). Da, rezultirajuća prognoza bit će samo prognoza, ali u mnogim slučajevima bit će prilično tačno.

Smislit ću samo jedan zadatak sa "stvarnim" brojevima, jer u njemu nema poteškoća - svi proračuni na nivou školskog programa 7-8 klase. U 95 posto slučajeva bit ćete pozvani da pronađete linearnu funkciju, ali na samom kraju članka pokazat ću da nije teže pronaći jednadžbe optimalnih hiperbola, izlagača i nekih drugih funkcija.

U stvari, ostaje da distribuira obećane lepinje - tako da ste naučili da reši takve primjere ne samo tačno, već i brzo. Pažljivo naučite standard:

Zadatak

Kao rezultat studije odnosa između dva pokazatelja dobivene su sljedeće parove brojeva:

Manji metoda kvadrata pronalaze linearnu funkciju koja najbolje donosi empirijsko (iskusan) podaci. Napravite crtež na kojem se u kartonskom pravougaonom koordinatnom sustavu izgradi eksperimentalne točke i grafikon približavajuće funkcije . Pronađite zbroj kvadrata odstupanja između empirijskih i teorijskih vrijednosti. Saznajte da li će funkcija biti bolja (sa stanovišta metode najmanje kvadrata) Primijenite eksperimentalne točke.

Imajte na umu da su vrijednosti "ICS-a" prirodne, a ima karakteristično smisleno značenje koje ću reći nešto kasnije; Ali oni, naravno, mogu biti frakcionalne. Pored toga, ovisno o sadržaju jednog zadatka kao "ICX", a "ignorirajuće" vrijednosti mogu biti u potpunosti ili djelomično negativne. Pa, imamo zadatak "bez lica" i mi započinjemo odluka:

Optimalni koeficijenti funkcije naći će kao rješenje sistema:

Da bi se kompaktnije snimalo, "brojač" varijabla može se izostaviti, jer je jasno da se sažeti izvodi iz 1 do.

Izračun potrebnih iznosa prikladniji je u tabelarnom obliku:


Kalkulacije se mogu izvesti na mikrokalkulatorni, ali mnogo je bolje koristiti Excel - i brže i bez grešaka; Gledamo kratki video:

Dakle, dobivamo sljedeće sistem:

Ovdje možete umnožiti drugu jednadžbu za 3 i od prve jednadžbe za oduzeti drugi. Ali ova sreća - u praksi sustav često nije nadaren, a u takvim slučajevima štedi metoda krme:
Dakle, sistem ima jedno rešenje.

Izvršite ček. Razumijem da ne želim, ali zašto nedostaju greške u kojima ih ne mogu apsolutno propustiti? Zamjena otopine pronađene na lijevom dijelu svake jednadžbe sustava:

Dobivaju se pravi dijelovi odgovarajućih jednadžbi, to znači da se sistem pravilno riješi.

Dakle, željena aproksimažna funkcija: - od sve linearne funkcije Eksperimentalni podaci najbolje pristupi.

Za razliku od ravni Ovisnost prometa trgovine sa svog trga, pronađena ovisnost je obrnut (princip "to više - manje"), a ta se činjenica odmah otkriva negativnim kutni koeficijent. Funkcija govori nam da s porastom određenog pokazatelja na 1 jedinici, vrijednost ovisnog pokazatelja smanjuje se prosjek0,65 jedinica. Kako kažu, to je veća cijena heljde, to se manje prodaje.

Za izgradnju grafikona približne funkcije, naći ćemo dvije njegove vrijednosti:

i napravite crtež:


Izgrađena linija zvana trend linija (naime - linija linearnog trenda, I.E. u općem slučaju trend nije nužno ravna linija). Svi poznati izraz "Budite u trendu", a mislim da ovaj termin ne trebaju dodatne komentare.

Izračunati zbroj kvadrata odstupanja između empirijskih i teorijskih vrijednosti. Geometrijski - ovo je zbroj kvadrata dužine segmenata "maline" (od kojih su dva toliko mala da nisu ni vidljivi).

Kalkulacije nas puštaju u tabelu:


Oni se mogu ponovo ručno učiniti, za svaki slučaj da donesem primjer za 1. poanta:

Ali mnogo efikasnije raditi poznati način:

Još jednom ponovite: kakvo je značenje rezultata? Od sve linearne funkcije funkcija Indikator je najmanji, odnosno u svojoj porodici ovo je najbolja aproksimacija. I ovdje, usput, konačno pitanje problema nije slučajno: šta ako predložena eksponencijalna funkcija Hoće li biti bolje donijeti eksperimentalne točke?

Nalazimo odgovarajuću količinu kvadrata odstupanja - razlikovati, ukazujem na njihovo pismo "Epsilon". Tehnika je potpuno ista:


I opet na svaki proračun požara za 1. poen:

U Excelu koristimo standardnu \u200b\u200bfunkciju Usavršiti (Sintaksa se može pregledati u Exele Help).

Izlaz: Stoga eksponencijalna funkcija donosi eksperimentalne točke gore nego direktno .

Ali treba napomenuti da je "gora" ne znači, šta nije uredu. Sada je izgrađen grafikon ove eksponencijalne funkcije - i on takođe prolazi u blizini bodova - Da, tako da bez analitičke studije i teško je reći, koja je funkcija tačnija.

Na ovu odluku je završena i vraćam se na pitanje prirodnih vrijednosti argumentacije. U različitim studijama, u pravilu, ekonomskim ili sociološkim, prirodnim "ICES" numeričkim mjesecima, godinama ili drugim jednakim vremenskim intervalima. Razmislite, na primjer, takav zadatak.

Primjer.

Eksperimentalni podaci o varijabilnim vrijednostima H. i W. LED u tabeli.

Kao rezultat njihovog poravnanja dobivena je funkcija

Upotreba Najmanje kvadratna metoda, približno ove linearne ovisnosti približiti y \u003d AX + B (Pronađite parametre ali i b.). Saznajte koja je od dva retka bolja (u smislu najmanjih kvadratnih metoda) usklađuje eksperimentalne podatke. Napravite crtež.

Suština metode najmanje kvadrata (MNC).

Zadatak je pronaći koeficijente linearne ovisnosti u kojoj funkcija dvije varijable ali i b. Uzima najmanju vrijednost. To jest, s podacima ali i b. Zbir kvadrata odstupanja eksperimentalnih podataka iz izravne linije bit će najmanji. Ovo je cijela suština metode najmanje kvadrata.

Stoga, primjer rješenja se svodi na pronalaženje ekstremne funkcije dvije varijable.

Prikazuje formulu za pronalaženje koeficijenata.

Sastavlja se i rješava sistem dvije jednadžbe sa dva nepoznanica. Pronalazimo privatne derivate u varijabilnoj ali i b., izjednačite ove derivate na nulu.

Riješiti rezultirajuće sustav jednadžbi prema bilo kojoj metodi (na primjer za metodu zamjene ili) i dobivamo formule za pronalaženje koeficijenata pomoću metode najmanje kvadrata (MNC).

Sa podacima ali i B. funkcija Uzima najmanju vrijednost. Dokaz ove činjenice je dat.

To je cijela metoda najmanje kvadrata. Formula za pronalaženje parametra sVEDOK JOVANOVIĆ - ODGOVOR: Sadrži iznose ,, i parametar n. - Broj eksperimentalnih podataka. Vrijednosti ovih iznosa preporučuje se izračunati odvojeno. Koeficijent b. Smješten nakon izračuna sVEDOK JOVANOVIĆ - ODGOVOR:.

Vrijeme je da se sjetite na primjer izvora.

Odluka.

U našem primjeru N \u003d 5.. Ispunite tablicu za praktičnost izračunavanja iznosi koji su uključeni u formulu željenih koeficijenata.

Vrijednosti u četvrtoj liniji tablice dobivaju se množenjem vrijednosti 2. niza na vrijednosti 3. niza za svaki broj I..

Vrijednosti u petom liniju tablice dobivaju se izgradnjom 2. niza vrijednosti za svaki broj. I..

Vrijednosti posljednjeg stupca tablice su sume vrijednosti po linijama.

Koristimo formule najmanjih kvadrata za pronalaženje koeficijenata ali i b.. Odgovaramo odgovarajuće vrijednosti iz posljednjeg stupca tablice:

Otuda, y \u003d 0.165x + 2.184 - željena aproksimažna ravna linija.

Ostaje da saznaju koja od linija y \u003d 0.165x + 2.184 ili Bolje je približiti početne podatke, odnosno procjenjuje se metodom najmanjih kvadrata.

Procjena pogreške metode najmanje kvadrata.

To zahtijeva izračunavanje iznosa kvadrata odstupanja izvornih podataka iz ovih linija. i Manja vrijednost odgovara liniji koja je bolja u smislu manjih kvadratnih metoda približava izvornim podacima.

Od tada, odmah y \u003d 0.165x + 2.184 Bolje donosi izvorne podatke.

Grafička ilustracija metode najmanje kvadrata (MNC).

Na grafikonima sve je savršeno vidljivo. Crvena linija je nađena ravno y \u003d 0.165x + 2.184, Plava linija je Ružičaste tačke su izvorni podaci.

Šta je potrebno za sve ove aproksimacije?

Lično koristim za rješavanje problema izglađivanja podataka, interpolacijskog i ekstrapolacijskog problema (u početnom primjeru mogao bi zatražiti da pronađe promatranu vrijednost y. za x \u003d 3. ili za x \u003d 6. Prema MND metodi). Ali razgovarajmo o tome više o tome kasnije u drugom dijelu mjesta.

Dokazi.

Tako što je za pronađeno ali i b. Funkcija je snimila najmanju vrijednost, potrebno je da u ovom trenutku matrica kvadratnog oblika drugog reda diferencijala za funkciju Bilo je pozitivno definirano. Pokaži to.

Diferencijal drugog reda je:

I.e

Shodno tome, kvadratni matrični oblik je

a vrijednosti elemenata ne ovise o tome ali i B..

Pokazujemo da je matrica pozitivno definirana. Da biste to učinili, potrebno je da su ugaoni maloletnici pozitivni.

Ugaoni maloljetnik prvog reda . Nejednakost je stroga, jer su točke neusklađene. Ubuduće ćemo značiti.

Ugao drugog reda Minor

To dokazujemo način matematičke indukcije.

Izlaz: Pronađene vrijednosti ali i B. Odgovaraju najmanju vrijednost funkcije Stoga su željeni parametri za način najmanjih kvadrata.

Široko se koristi u ekonometrijskom u obliku jasne ekonomske interpretacije svojih parametara.

Linearna regresija svodi se na pronalaženje jednadžbe obrasca

ili

Pogledajte jednadžbu omogućuje navedene vrijednosti parametara h.imaju teorijske vrijednosti produktivne funkcije, zamjenjujući stvarne vrijednosti faktora h..

Izgradnja linearne regresije svodi se na procjenu svojih parametara - alii u.Procjene parametara linearne regresije mogu se naći različitim metodama.

Klasični pristup ocjenjivanju linearnih regresijskih parametara zasnovan je na metoda najmanje kvadrata(MNC).

MNA vam omogućava da dobijete takve procjene parametara alii unutra,na kojima zbroj kvadrata odstupanja stvarnih vrijednosti revolucije (y)iz naselja (teorijski) mi-nimalna:

Da biste pronašli najmanje funkcije, potrebno je izračunati derivate frekvencije za svaki od parametara alii b.i izjednačite ih na nulu.

Označavaju sa S, a zatim:

Pretvaranje formule, dobivamo sljedeći sistem normalnih jednadžbi za procjenu parametara ali i u:

Rješavanje sistema normalnih jednadžbi (3.5) ili metodom dosljedno isključujući varijable, ili metodom odrednih, pronaći ćemo željene procjene parametara alii u.

Parametar u nazvan koeficijent regresije. Njegova vrijednost prikazuje prosječnu promjenu rezultata s promjenom u faktoru po jedinici.

Regresijska jednadžba uvijek se nadopunjuje pokazatelj steženosti komunikacije. Kada koristite linearnu regresiju, linearni koeficijent korelacije djeluje kao takav pokazatelj. Postoje različite izmjene formule linearne koeficijente korelacije. Neki od njih su ispod:

Kao što je poznato, linearni koeficijent korelacije nalazi se u granicama: -1 ≤ ≤ 1.

Procijeniti kvalitetu odabira linearne funkcije, kvadrat se izračunava

Koeficijent linearne korelacije zvani koeficijent odlučnosti.Koeficijent odlučnosti karakterizira dio disperzije produktivnog y,objavljuje regresijom, u općoj disperziji efikasne karakteristike:

U skladu s tim, iznos 1 - karakterizira udio disper-c y,uzrokovana utjecajem drugog koji nije zabilježen u modelu faktora.

Pitanja za samokontrolu

1. Suština najmanjih kvadratnih metoda?

2. Koliko je varijabli uparene regresije?

3. Koji je koeficijent procesuiranje veze između promjena?

4. Koje limite određuju koeficijent odlučnosti?

5. Evaluacija parametra B u analizi korelacije i regresije?

1. Christopher Dugger. Uvod u ekonometriju. - M.: Infra - M, 2001 - 402 str.

2. S.A. Borodich. Ekonometrijski. Minsk LLC "Novo znanje" 2001.

3. R.U. Rakhmetov kratak kurs na ekonometrijskom. Tutorial. Almaty. 2004. -78c.

4. I.I. Eliseeva .Ekonomska. - M.: "Finansije i statistika", 2002

5. Mjesečni informativni i analitički časopis.

Nelinearni ekonomski modeli. Nelinearni regresijski modeli. Transformacija varijabli.

Nelinearni ekonomski modeli ..

Transformacija varijabli.

Koeficijent elastičnosti.

Ako postoje ne-neuronski odnosi između ekonomskih pojava, izraženi su korištenjem odgovarajućih nelinearnih funkcija: na primjer, ravnopravnoj hidro-šerpuli , parabola drugog stepena i D.r.

Postoje dvije klase nelinearnih regresija:

1. Regresija, nelinearnica u odnosu na one uključene u analizu objašnjenih varijabli, ali linearni prema procijenjenim parametrima, na primjer:

Polinomi različitih stepeni -,;

Ravnotežna hiperbola -;

Polu-firograff funkcija -.

2. Regresija, nelinearna na procijenjenim parametrima, na primjer:

Snaga -;

Indikativno -;

Eksponencijalno -.

Ukupna količina kvadrata odstupanja pojedinačnih vrijednosti performansi w.iz srednje vrijednosti uzrokovana je efektom mnogih razloga. Uvjetno podijelite cijeli niz razloga za dvije grupe: studirao faktor x.i ostali faktori.

Ako faktor ne utječe na rezultat, regresijska linija na rasporedu je paralelna sa osi ohi

Tada se čitava disperzija produktivnog znaka zbog utjecaja drugih faktora i ukupni iznos kvadrata odstupanja podudara se sa ostatkom. Ako drugi faktori ne utječu na rezultat, onda ulje je povezanood h.funkcionalno i preostali zbroj kvadrata je nula. U ovom slučaju, zbroj kvadrata odstupanja objasnjenim regresijom poklapa se sa ukupnim kvadratom kvadrata.

Budući da nisu sve točke korelacijskog polja leže na regresijskoj liniji, uvijek se odvija njihov rasipanje kao što je uzrokovano utjecajem faktora h., I.E. regresija w.od x,tako uzrokovana djelovanjem drugih razloga (neobjašnjive varijacije). Prikladnost regresijske linije za prognozu ovisi o tome koji dio ukupne varijacije značajke w.obračunava objašnjene varijacije

Očito, ako zbroj kvadrata odstupanja uzrokovanih regresijom bit će veći od preostalog iznosa kvadrata, regresijska jednadžba je statistički značajna i faktor h.ima značajan uticaj na rezultat y

, i.E. sa brojem slobode nezavisne varijacije funkcije. Broj slobodnih stupnjeva povezan je s brojem jedinica kombinacije N i s brojem konstanti određenih. U odnosu na problem u studiji, broj stupnjeva slobode treba pokazati koliko neovisnih odgovora iz p

Procjena značaja regresijske jednadžbe u cjelini dan je s vlašću F.-Criteria Fisher. Istovremeno se vrši nulta himestra, što je nulta koeficijent, I.E. b \u003d.0, a samim tim faktor h.ne utiče na rezultat y

Direktan izračun F-kriterija prethodi analiza disperzije. Centralno mjesto u njemu zauzima razgradnju ukupne zbroja kvadrata varijabilnih odstupanja w.od prosjeka w.u dva dijela - "objasnio" i "Neistraženo":

Ukupna količina kvadrata odstupanja;

Zbroj kvadrata odstupanja objasnjeno regresijom;

Preostala zbroj kvadrata odstupanja.

Svaka zbroja kvadrata odstupanja povezana je s brojem koraka , i.E. sa brojem slobode nezavisne varijacije funkcije. Broj stupnjeva slobode povezan je s brojem jedinica agregata n. i sa brojem konstanti određenih njim. U odnosu na problem u studiji, broj slobode slobode trebao bi pokazati koliko neovisnog odgovora od pmoguće je potrebno za formiranje količine kvadrata.

Dispentracija jednog stepena slobodeD..

F-kriterijumi:

Eli Zero Hipoteza je fer, Tada se faktor i preostala disperzija ne razlikuju jedni od drugih. Za h 0 je potrebno uvući tako da faktor disperzija nekoliko puta prelazi preostale. Engleska statistika snedacor jednom - Radne tablice Kritične vrijednosti F.- Nonads na različitim nivoima nulte hipoteze i različitih stepena. Vrijednost stola F.-Krediranje je maksimalna količina disperzije, koja se može odvijati za njihovo divergenciju za ovaj nivo vjerojatnosti nulte hipoteze. Izračunati F.- Veza je prepoznata kao pouzdana, ako je tabelarnija.

U ovom slučaju, nulta hipoteza o odsustvu znakova znakova odbija se i zaključuje o materijalnosti ove veze: F Činjenica\u003e F TabelaH 0 odstupa.

Ako će vrijednost biti manje tabelarna F Učini \u003c, F Tab , Verovatnoća nulte hipoteze veća je od navedenog nivoa i ne može se odbiti bez ozbiljnog rizika da bi se pogrešan zaključak postigao o dostupnosti komunikacije. U ovom slučaju, regresijska jednadžba smatra se statistički beznačajnim. N o sebi ne odstupa.

Greška standardne regresije

Za procjenu materijalnosti koeficijenta regresije, uspoređuje se sa svojom standardnom greškom, I.E. Stvarna vrijednost se određuje t.-Kreditni student: koji se zatim u usporedbi s tabelarne vrijednosti na određenom nivou značaja i broju stupnjeva slobode ( n.- 2).

Standardni parametar greške ali:

Značaj linearnog koeficijenta korelacije testira se na temelju vrijednosti pogreške koeficijent korelacije t R:

Opći disperzijski znak h.:

Višestruka linearna regresija

Model izgradnje

Višestruka regresija predstavlja regresiju efikasne funkcije sa dva i velikom broju faktora, I.E. model vrsta

Regresija može dati dobar rezultat Prilikom modeliranja, ako utjecaj drugih faktora koji utječe na objekt studije može se zanemariti. Ponašanje pojedinih ekonomskih varijabli ne može se nadgledati, tj. Ne osigurava jednakost svih ostalih uvjeta za procjenu utjecaja jednog u studiju. U ovom slučaju, trebali biste pokušati identificirati utjecaj drugih faktora tako što ćete ih unositi u model, I.E. Post-rotaciju višestruke regresijske jednadžbe: y \u003d A + B 1 X 1 + B 2 + ... + B P X P + .

Glavni cilj višestruke regresije je izgradnja modela sa velikim brojem faktora, dok određujući efekat svake od njih odvojeno, kao i kumulativni utjecaj na simulirani pokazatelj. Specifikacija modela uključuje dva kruga pitanja: izbor faktora i izbor vrste regresije jednadžbi