Розрахунок за методом найменших квадратів. Де застосовується метод найменших квадратів

метод найменших квадратів (МНК, англ. Ordinary Least Squares, OLS) - математичний метод, застосовуваний для вирішення різних завдань, заснований на мінімізації суми квадратів відхилень деяких функцій від шуканих змінних. Він може використовуватися для «вирішення» перевизначених систем рівнянь (коли кількість рівнянь перевищує кількість невідомих), для пошуку рішення в разі звичайних (НЕ перевизначених) нелінійних систем рівнянь, для апроксимації точкових значень деякою функцією. МНК є одним з базових методів регресійного аналізу для оцінки невідомих параметрів регресійних моделей за вибірковими даними.

Суть методу найменших квадратів

Нехай - набір невідомих змінних (параметрів), - сукупність функцій від цього набору змінних. Завдання полягає в підборі таких значень x, щоб значення цих функцій були максимально близькі до деяких значень. По суті мова йде про «вирішенні» перевизначення системи рівнянь в зазначеному сенсі максимальній близькості лівої і правої частин системи. Сутність МНК полягає у виборі в якості «заходи близькості» суми квадратів відхилень лівих і правих частин -. Таким чином, сутність МНК може бути виражена таким чином:

У разі, якщо система рівнянь має рішення, то мінімум суми квадратів дорівнюватиме нулю і можуть бути знайдені точні рішення системи рівнянь аналітично або, наприклад, різними чисельними методами оптимізації. Якщо система перевизначена, тобто, кажучи нестрого, кількість незалежних рівнянь більше кількості шуканих змінних, то система не має точного рішення і метод найменших квадратів дозволяє знайти певний «оптимальний» вектор в сенсі максимальній близькості векторів і чи максимальній близькості вектора відхилень до нуля (близькість розуміється в сенсі евклидова відстані).

Приклад - система лінійних рівнянь

Зокрема, метод найменших квадратів може використовуватися для «вирішення» системи лінійних рівнянь

де матриця не квадратна, а прямокутна розміру (точніше ранг матриці A більше кількості шуканих змінних).

Така система рівнянь, в загальному випадку не має рішення. Тому цю систему можна «вирішити» тільки в сенсі вибору такого вектора, щоб мінімізувати «відстань» між векторами і. Для цього можна застосувати критерій мінімізації суми квадратів різниць лівої і правої частин рівнянь системи, тобто. Неважко показати, що рішення цього завдання мінімізації призводить до вирішення наступної системи рівнянь

Використовуючи оператор псевдоінверсії, рішення можна переписати так:

де - псевдообернена матриця для.

Дану задачу також можна «вирішити» використовуючи так званий зважений МНК (див. Нижче), коли різні рівняння системи отримують різну вагу з теоретичних міркувань.

Суворе обгрунтування і встановлення кордонів змістовної застосовності методу дані А. А. Марковим і А. Н. Колмогоровим.

МНК в регресійному аналізі (апроксимація даних) [ред | правити вікі-текст] Нехай є значень деякої змінної (це можуть бути результати спостережень, експериментів і т. д.) і відповідних змінних. Завдання полягає в тому, щоб взаємозв'язок між і апроксимувати деякою функцією, відомої з точністю до деяких невідомих параметрів, тобто фактично знайти найкращі значення параметрів, максимально наближають значення до фактичних значень. Фактично це зводиться до випадку «рішення» перевизначення системи рівнянь щодо:

У регресійному аналізі і зокрема в економетрики використовуються імовірнісні моделі залежності між змінними

де - так звані випадкові помилки моделі.

Відповідно, відхилення спостережуваних значень від модельних передбачається вже в самій моделі. Сутність МНК (звичайного, класичного) полягає в тому, щоб знайти такі параметри, при яких сума квадратів відхилень (помилок, для регресійних моделей їх часто називають залишками регресії) буде мінімальною:

де - англ. Residual Sum of Squares визначається як:

У загальному випадку рішення цього завдання може здійснюватися чисельними методами оптимізації (мінімізації). У цьому випадку говорять про нелінійному МНК (NLS або NLLS - англ. Non-Linear Least Squares). У багатьох випадках можна отримати аналітичне рішення. Для вирішення завдання мінімізації необхідно знайти стаціонарні точки функції, продифференцировав її з невідомих параметрах, прирівнявши похідні до нуля і вирішивши отриману систему рівнянь:

МНК в разі лінійної регресії [ред | правити вікі-текст]

Нехай регрессионная залежність є лінійною:

Нехай y - вектор-стовпець спостережень пояснюється змінної, а - це матриця спостережень факторів (рядки матриці - вектори значень факторів в даному спостереженні, за стовпцями - вектор значень даного фактора у всіх спостереженнях). Матричне подання лінійної моделі має вигляд:

Тоді вектор оцінок пояснюється змінної і вектор залишків регресії дорівнюватимуть

відповідно сума квадратів залишків регресії буде дорівнює

Диференціюючи цю функцію по вектору параметрів і прирівнявши похідні до нуля, отримаємо систему рівнянь (в матричної формі):

У розшифрованої матричної формі ця система рівнянь виглядає наступним чином:

де всі суми беруться за всіма допустимих значень.

Якщо в модель включена константа (як завжди), то при всіх, тому в лівому верхньому кутку матриці системи рівнянь знаходиться кількість спостережень, а в інших елементах першого рядка і першого стовпця - просто суми значень змінних: і перший елемент правій частині системи - .

Вирішення цієї системи рівнянь і дає загальну формулу МНК-оцінок для лінійної моделі:

Для аналітичних цілей виявляється корисним останню виставу цієї формули (в системі рівнянь при розподілі на n, замість сум фігурують середні арифметичні). Якщо у регресійній моделі дані центровані, то в цьому поданні перша матриця має сенс вибіркової ковариационной матриці факторів, а друга - вектор ковариаций факторів з залежною змінною. Якщо крім того дані ще інорміровани на СКО (тобто в кінцевому підсумку стандартизовані), то перша матриця має сенс вибіркової кореляційної матриці факторів, другий вектор - вектора вибіркових кореляцій факторів з залежною змінною.

Важливе властивість МНК-оцінок для моделей з константою - лінія побудованої регресії проходить через центр ваги вибіркових даних, тобто виконується рівність:

Зокрема, в крайньому випадку, коли єдиним регресорів є константа, отримуємо, що МНК-оцінка єдиного параметра (власне константи) дорівнює середньому значенню пояснюється змінної. Тобто середнє арифметичне, відоме своїми хорошими властивостями із законів великих чисел, також є МНК-оцінкою - відповідає критерію мінімуму суми квадратів відхилень від неї.

Найпростіші окремі випадки [ред | правити вікі-текст]

У разі парної лінійної регресії, коли оцінюється лінійна залежність однієї змінної від іншої, формули розрахунку спрощуються (можна обійтися без матричної алгебри). Система рівнянь має вигляд:

Звідси нескладно знайти оцінки коефіцієнтів:

Незважаючи на те що в загальному випадку моделі з константою краще, в деяких випадках з теоретичних міркувань відомо, що константа повинна бути дорівнює нулю. Наприклад, у фізиці залежність між напругою і силою струму має вигляд; заміряючи напругу і силу струму, необхідно оцінити опір. У такому випадку мова йде про моделі. У цьому випадку замість системи рівнянь маємо єдине рівняння

Отже, формула оцінки єдиного коефіцієнта має вигляд

Статистичні властивості МНК-оцінок [ред | правити вікі-текст]

В першу чергу, відзначимо, що для лінійних моделей МНК-оцінки є лінійними оцінками, як це випливає з вищенаведеної формули. Длянесмещенності МНК-оцінок необхідно і достатньо виконання найважливішої умови регресійного аналізу: умовне по факторам математичне сподівання випадкової помилки має дорівнювати нулю. Дана умова, зокрема, виконано, якщо математичне сподівання випадкових помилок дорівнює нулю, і фактори і випадкові помилки - незалежні випадкові величини.

Перша умова можна вважати виконаним завжди для моделей з константою, так як константа бере на себе нульове математичне сподівання помилок (тому моделі з константою в загальному випадку краще). найменший квадрат регресійний коваріаційний

Друга умова - умова екзогенних факторів - принципове. Якщо це властивість не виконано, то можна вважати, що практично будь-які оцінки будуть вкрай незадовільними: вони не будуть навіть заможними (тобто навіть дуже великий обсяг даних не дозволяє отримати якісні оцінки в цьому випадку). У класичному випадку робиться більш сильне припущення про детермінованість факторів, на відміну від випадкової помилки, що автоматично означає виконання умови екзогенних. У загальному випадку для спроможності оцінок досить виконання умови екзогенних разом зі збіжністю матриці до деякої невироджених матриці при збільшенні обсягу вибірки до нескінченності.

Для того, щоб крім спроможності і незсуненості, оцінки (звичайного) МНК були ще й ефективними (найкращими в класі лінійних незміщених оцінок) необхідно виконання додаткових властивостей випадкової помилки:

Постійна (однакова) дисперсія випадкових помилок у всіх спостереженнях (відсутність гетероскедастичності):

Відсутність кореляції (автокорреляции) випадкових помилок в різних спостереженнях між собою

Дані припущення можна сформулювати для ковариационной матриці вектора випадкових помилок

Лінійна модель, яка задовольняє таким умовам, називається класичною. МНК-оцінки для класичної лінійної регресії являютсянесмещённимі, заможними і найбільш ефективними оцінками в класі всіх лінійних несмещённих оцінок (в англомовній літературі іноді вживають абревіатуру BLUE (Best Linear Unbiased Estimator) - найкраща лінійна Незміщена Оцінка; у вітчизняній літературі частіше наводиться теорема Гаусса - Маркова). Як неважко показати, ковариационная матриця вектора оцінок коефіцієнтів буде дорівнює:

Ефективність означає, що ця ковариационная матриця є «мінімальної» (будь-яка лінійна комбінація коефіцієнтів, і зокрема самі коефіцієнти, мають мінімальну дисперсію), тобто в класі лінійних незміщених оцінок оцінки МНК-найкращі. Діагональні елементи цієї матриці - дисперсії оцінок коефіцієнтів - важливі параметри якості отриманих оцінок. Однак розрахувати ковариационную матрицю неможливо, оскільки дисперсія випадкових помилок невідома. Можна довести, що несмещённой і заможної (для класичної лінійної моделі) оцінкою дисперсії випадкових помилок є величина:

Підставивши дане значення в формулу для ковариационной матриці і отримаємо оцінку ковариационной матриці. Отримані оцінки також являютсянесмещённимі і заможними. Важливо також те, що оцінка дисперсії помилок (а значить і дисперсій коефіцієнтів) і оцінки параметрів моделі є незалежними випадковими величинами, Що дозволяє отримати тестові статистики для перевірки гіпотез про коефіцієнти моделі.

Необхідно відзначити, що якщо класичні припущення не виконано, МНК-оцінки параметрів не є найбільш ефективними оцінками (залишаючись несмещённимі і заможними). Однак, ще більш погіршується оцінка ковариационной матриці - вона стає зміщеною інесостоятельной. Це означає, що статистичні висновки про якість побудованої моделі в такому разі можуть бути вкрай недостовірними. Одним з варіантів вирішення останньої проблеми є застосування спеціальних оцінок ковариационной матриці, які є заможними при порушеннях класичних припущень (стандартні помилки в формі Уайта і стандартні помилки в формі Ньюї-Уеста). Інший підхід полягає в застосуванні так званого узагальненого МНК.

Узагальнений МНК [ред | правити вікі-текст]

Основна стаття: Узагальнений метод найменших квадратів

Метод найменших квадратів допускає широке узагальнення. Замість мінімізації суми квадратів залишків можна мінімізувати деяку позитивно певну квадратичну форму від вектора залишків, де - деяка симетрична позитивно певна вагова матриця. Звичайний МНК є окремим випадком такого підходу, коли вагова матриця пропорційна одиничної матриці. Як відомо з теорії симетричних матриць (або операторів) для таких матриць існує розкладання. Отже, зазначений функціонал можна представити таким чином

тобто цей функціонал можна уявити як суму квадратів деяких перетворених «залишків». Таким чином, можна виділити клас методів найменших квадратів - LS-методи (Least Squares).

Доведено (теорема Айткена), що для узагальненої лінійної регресійної моделі (в якій на ковариационную матрицю випадкових помилок не накладається ніяких обмежень) найбільш ефективними (в класі лінійних незміщених оцінок) є оцінки т. Н. узагальненого МНК (ОМНК, GLS - Generalized Least Squares) - LS-методу з ваговій матрицею, що дорівнює зворотної ковариационной матриці випадкових помилок:.

Можна показати, що формула ОМНК-оцінок параметрів лінійної моделі має вигляд

Коваріаційна матриця цих оцінок відповідно буде дорівнює

Фактично сутність ОМНК полягає в певному (лінійному) перетворенні (P) вихідних даних і застосуванні звичайного МНК до перетвореним даними. Мета цього перетворення - для перетворених даних випадкові помилки вже задовольняють класичним припущенням.

Зважений МНК [ред | правити вікі-текст]

У разі діагональної вагової матриці (а значить і ковариационной матриці випадкових помилок) маємо так званий зважений МНК (WLS - Weighted Least Squares). В даному випадку мінімізується зважена сума квадратів залишків моделі, тобто кожне спостереження отримує «вага», обернено пропорційний дисперсії випадкової помилки в даному спостереженні:

Фактично дані перетворюються зважуванням спостережень (поділом на величину, пропорційну передбачуваному стандартного відхилення випадкових помилок), а до зважених даними застосовується звичайний МНК.

Вибравши вид функції регресії, тобто вид даної моделі залежності Y від Х (або Х від У), наприклад, лінійну модель y x \u003d a + bx, необхідно визначити конкретні значення коефіцієнтів моделі.

При різних значеннях а і b можна побудувати нескінченну кількість залежностей виду y x \u003d a + bx тобто на координатної площині є нескінченна кількість прямих, нам же необхідна така залежність, яка відповідає спостережуваним значенням найкращим чином. Таким чином, завдання зводиться до підбору найкращих коефіцієнтів.

Лінійну функцію a + bx шукаємо, виходячи лише з певної кількості наявних спостережень. Для знаходження функції з найкращим відповідністю спостережуваними значеннями використовуємо метод найменших квадратів.

Позначимо: Y i - значення, обчислене за рівнянням Y i \u003d a + bx i. y i - виміряне значення, ε i \u003d y i -Y i - різниця між вимірами і обчисленими за рівнянням значенням, ε i \u003d y i -a-bx i.

У методі найменших квадратів потрібно, щоб ε i, різниця між вимірюваними y i і обчисленими за рівнянням значенням Y i, була мінімальною. Отже, знаходимо коефіцієнти а і b так, щоб сума квадратів відхилень спостережуваних значень від значень на прямій лінії регресії виявилася найменшою:

Досліджуючи на екстремум цю функцію аргументів а і за допомогою похідних, можна довести, що функція приймає мінімальне значення, якщо коефіцієнти а і b є рішеннями системи:

(2)

Якщо розділити обидві частини нормальних рівнянь на n, то отримаємо:

Враховуючи що (3)

отримаємо , Звідси, підставляючи значення a до першого рівняння, отримаємо:

При цьому b називають коефіцієнтом регресії; a називають вільним членом рівняння регресії і обчислюють за формулою:

Отримана пряма є оцінкою для теоретичної лінії регресії. маємо:

Отже, є рівнянням лінійної регресії.

Регресія може бути прямий (b\u003e 0) і зворотної (b Приклад 1. Результати вимірювання величин X і Y дані в таблиці:

x i	-2	0	1	2	4
y i	0.5	1	1.5	2	3

Припускаючи, що між X і Y існує лінійна залежність y \u003d a + bx, способом найменших квадратів визначити коефіцієнти a і b.

Рішення. Тут n \u003d 5
x i \u003d -2 + 0 + 1 + 2 + 4 \u003d 5;
x i 2 \u003d 4 + 0 + 1 + 4 + 16 \u003d 25
x i y i \u003d -2 0.5 + 0 1 + 1 1.5 +2 +2 +4 +3 \u003d 16.5
y i \u003d 0.5 + 1 + 1.5 + 2 + 3 \u003d 8

і нормальна система (2) має вигляд

Вирішуючи цю систему, отримаємо: b \u003d 0.425, a \u003d 1.175. Тому y \u003d 1.175 + 0.425x.

Приклад 2. Є вибірка з 10 спостережень економічних показників (X) і (Y).

x i	180	172	173	169	175	170	179	170	167	174
y i	186	180	176	171	182	166	182	172	169	177

Потрібно знайти вибіркове рівняння регресії Y на X. Побудувати вибіркову лінію регресії Y на X.

Рішення. 1. Проведемо упорядкування даних за значеннями x i і y i. Отримуємо нову таблицю:

x i	167	169	170	170	172	173	174	175	179	180
y i	169	171	166	172	180	176	177	182	182	186

Для спрощення обчислень складемо розрахункову таблицю, в яку занесемо необхідні чисельні значення.

x i	y i	x i 2	x i y i
167	169	27889	28223
169	171	28561	28899
170	166	28900	28220
170	172	28900	29240
172	180	29584	30960
173	176	29929	30448
174	177	30276	30798
175	182	30625	31850
179	182	32041	32578
180	186	32400	33480
Σx i \u003d 1729	Σy i \u003d тисяча сімсот шістьдесят один	Σx i 2 299105	Σx i y i \u003d 304696
x \u003d 172.9	y \u003d 176.1	x i 2 \u003d 29910.5	xy \u003d 30469.6

Відповідно до формули (4), обчислюємо коефіцієнта регресії

а за формулою (5)

Таким чином, вибіркове рівняння регресії має вигляд y \u003d -59.34 + 1.3804x.
Нанесемо на координатної площині точки (x i; y i) і відзначимо пряму регресії.

рис 4

На рис.4 видно, як розташовуються спостережувані значення щодо лінії регресії. Для чисельної оцінки відхилень y i від Y i, де y i спостерігаються, а Y i визначаються регресією значення, складемо таблицю:

x i	y i	Y i	Y i -y i
167	169	168.055	-0.945
169	171	170.778	-0.222
170	166	172.140	6.140
170	172	172.140	0.140
172	180	174.863	-5.137
173	176	176.225	0.225
174	177	177.587	0.587
175	182	178.949	-3.051
179	182	184.395	2.395
180	186	185.757	-0.243

Значення Y i обчислені відповідно до рівняння регресії.

Помітне відхилення деяких можна побачити значень від лінії регресії пояснюється малим числом спостережень. При дослідженні ступеня лінійної залежності Y від X число спостережень враховується. Сила залежності визначається величиною коефіцієнта кореляції.

Яке знаходить найширше застосування в різних областях науки і практичної діяльності. Це може бути фізика, хімія, біологія, економіка, соціологія, психологія і так далі, так далі. Волею долі мені часто доводиться мати справу з економікою, і тому сьогодні я оформлю вам путівку в дивовижну країну під назвою економетрика \u003d) ... Як це не хочете ?! Там дуже добре - потрібно тільки зважитися! ... Але ось те, що ви, напевно, безумовно хочете - так це навчитися вирішувати завдання методом найменших квадратів. І особливо старанні читачі навчаться вирішувати їх не тільки безпомилково, але ще й ДУЖЕ ШВИДКО ;-) Але спочатку загальна постановка задачі + Супутній приклад:

Нехай в деякій предметній області досліджуються показники, які мають кількісне вираження. При цьому є всі підстави вважати, що показник залежить від показника. Це полагание може бути як наукової гіпотезою, так і грунтуватися на елементарному здоровому глузді. Залишимо, однак, науку в сторонці і досліджуємо більш апетитні області - а саме, продовольчі магазини. Позначимо через:

- торгову площу продовольчого магазину, кв.м.,
- річний товарообіг продовольчого магазину, млн. Руб.

Цілком зрозуміло, що чим більше площа магазину, тим в більшості випадків буде більше його товарообіг.

Припустимо, що після проведення спостережень / дослідів / підрахунків / танців з бубном в нашому розпорядженні виявляються числові дані:

З гастрономами, думаю, все зрозуміло: - це площа 1-го магазину, - його річний товарообіг, - площа 2-го магазину, - його річний товарообіг і т.д. До речі, зовсім не обов'язково мати доступ до секретних матеріалів - досить точну оцінку товарообігу можна отримати засобами математичної статистики. Втім, не відволікаємося, курс комерційного шпигунства - він вже платний \u003d)

Табличні дані також можна записати в вигляді точок і зобразити у звичній для нас декартовій системі .

Відповімо на важливе питання: скільки точок потрібно для якісного дослідження?

Чим більше тим краще. Мінімально допустимий набір складається з 5-6 точок. Крім того, при невеликій кількості даних у вибірку не можна включати «аномальні» результати. Так, наприклад, невеликий елітний магазин може виручати на порядки більше «своїх колег», спотворюючи тим самим загальну закономірність, яку і потрібно знайти!

Якщо зовсім просто - нам потрібно підібрати функцію, графік якої проходить якомога ближче до точок . Таку функцію називають апроксимуючої (Апроксимація - наближення) або теоретичної функцією . Взагалі кажучи, тут відразу з'являється очевидний «претендент» - многочлен високого ступеня, графік якого проходить через ВСЕ точки. Але цей варіант складний, а часто і просто некоректне (Тому що графік буде весь час «петляти» і погано відображати головну тенденцію).

Таким чином, шукана функція повинна бути досить проста і в той же час відбивати залежність адекватно. Як ви здогадуєтеся, один з методів знаходження таких функцій і називається методом найменших квадратів. Спочатку розберемо його суть в загальному вигляді. Нехай деяка функція наближає експериментальні дані:


Як оцінити точність даного наближення? Обчислимо і різниці (відхилення) між експериментальними і функціональними значеннями (Вивчаємо креслення). Перша думка, яка приходить в голову - це оцінити, наскільки велика сума, але проблема полягає в тому, що різниці можуть бути і негативні (Наприклад, ) і відхилення в результаті такого підсумовування будуть взаимоуничтожаются. Тому в якості оцінки точності наближення напрошується прийняти суму модулів відхилень:

або в згорнутому вигляді: (Раптом хто не знає: - це значок суми, а - допоміжна переменная- «лічильник», яка приймає значення від 1 до).

Наближаючи експериментальні точки різними функціями, Ми будемо отримувати різні значення, і очевидно, де ця сума менше - та функція і точніше.

Такий метод існує і називається він методом найменших модулів. Однак на практиці отримав набагато більше поширення метод найменших квадратів, В якому можливі негативні значення ліквідує модулем, а зведенням відхилень в квадрат:

, Після чого зусилля спрямовані на підбір такої функції, щоб сума квадратів відхилень була якомога менше. Власне, звідси і назва методу.

І зараз ми повертаємося до іншого важливого моменту: Як зазначалося вище, підбирати функція повинна бути досить проста - але ж і таких функцій теж чимало: лінійна , гіперболічна, експоненціальна, логарифмічна, квадратична і т.д. І, звичайно ж, тут відразу б хотілося «скоротити поле діяльності». Який клас функцій вибрати для дослідження? Примітивний, але ефективний прийом:

- Найпростіше зобразити точки на кресленні і проаналізувати їх розташування. Якщо вони мають тенденцію розташовуватися по прямій, то слід шукати рівняння прямої з оптимальними значеннями і. Іншими словами, завдання полягає в знаходженні ТАКИХ коефіцієнтів - щоб сума квадратів відхилень була найменшою.

Якщо ж точки розташовані, наприклад, по гіперболи, То свідомо зрозуміло, що лінійна функція буде давати погане наближення. В цьому випадку шукаємо найбільш «вигідні» коефіцієнти для рівняння гіперболи - ті, які дають мінімальну суму квадратів .

А тепер зверніть увагу, що в обох випадках мова йде про функції двох змінних, Аргументами якої є параметри розшукуваних залежностей:

І по суті нам потрібно вирішити стандартне завдання - знайти мінімум функції двох змінних.

Згадаймо про наш приклад: припустимо, що «магазинні» точки мають тенденцію розташовуватися по прямій лінії і є всі підстави вважати наявність лінійної залежності товарообігу від торгової площі. Знайдемо ТАКІ коефіцієнти «а» і «бе», щоб сума квадратів відхилень була найменшою. Все як завжди - спочатку приватні похідні 1-го порядку. згідно правилом лінійності диференціювати можна прямо під значком суми:

Якщо хочете використовувати дану інформацію для реферату чи курсовиків - буду дуже вдячний за поставлену посилання в списку джерел, такі докладні викладки знайдете мало де:

Складемо стандартну систему:

Скорочуємо кожне рівняння на «двійку» і, крім того, «розвалюємо» суми:

Примітка : Самостійно проаналізуйте, чому «а» і «бе» можна винести за значок суми. До речі, формально це можна зробити і з сумою

Перепишемо систему у «прикладному» вигляді:

після чого починає вимальовуватися алгоритм рішення нашої задачі:

Координати точок ми знаємо? Знаємо. суми знайти можемо? Легко. складаємо найпростішу систему двох лінійних рівнянь з двома невідомими( «А» і «бе»). Систему вирішуємо, наприклад, методом Крамера, В результаті чого отримуємо стаціонарну точку. перевіряючи достатня умова екстремуму, Можна переконатися, що в даній точці функція досягає саме мінімуму. Перевірка пов'язана з додатковими викладками і тому залишимо її за кадром (При необхідності відсутній кадр можна подивитися). Робимо остаточний висновок:

функція найкращим чином (Принаймні, у порівнянні з будь-якою іншою лінійною функцією) наближає експериментальні точки . Грубо кажучи, її графік проходить максимально близько до цих крапок. У традиціях економетрики отриману аппроксимирующую функцію також називають рівнянням парної лінійної регресії .

Вже згадана завдання має велике практичне значення. У ситуації з нашим прикладом, рівняння дозволяє прогнозувати, який товарообіг ( «Ігрек») буде біля магазину при тому чи іншому значенні торгової площі (Тому чи іншому значенні «ікс»). Так, отриманий прогноз буде лише прогнозом, але в багатьох випадках він виявиться досить точним.

Я розберу всього лише одну задачу з «реальними» числами, оскільки ніяких труднощів в ній немає - все обчислення на рівні шкільної програми 7-8 класу. У 95 відсотках випадків вам буде запропоновано відшукати саме лінійну функцію, але в самому кінці статті я покажу, що нітрохи не складніше відшукати рівняння оптимальної гіперболи, експоненти і деяких інших функцій.

По суті, залишилося роздати обіцяні плюшки - щоб ви навчилися вирішувати такі приклади не тільки безпомилково, але ще й швидко. Уважно вивчаємо стандарт:

завдання

В результаті дослідження взаємозв'язку двох показників, отримані наступні пари чисел:

Методом найменших квадратів знайти лінійну функцію, яка найкращим чином наближає емпіричні (Досвідчені) дані. Зробити креслення, на якому в декартовій прямокутній системі координат побудувати експериментальні точки і графік апроксимуючої функції . Знайти суму квадратів відхилень між емпіричними і теоретичними значеннями. З'ясувати, чи буде функція краще (З точки зору методу найменших квадратів) наближати експериментальні точки.

Зауважте, що «іксові» значення - натуральні, і це має характерний змістовний сенс, про який я розповім трохи пізніше; але вони, зрозуміло, можуть бути і дробовими. Крім того, в залежності від змісту того чи іншого завдання як «іксові», так і «ігрековие» значення повністю або частково можуть бути негативними. Ну а у нас дана «безлика» завдання, і ми починаємо її рішення:

Коефіцієнти оптимальної функції знайдемо як розв'язок системи:

З метою більш компактного запису переменную- «лічильник» можна опустити, оскільки і так зрозуміло, що підсумовування здійснюється від 1 до.

Розрахунок потрібних сум зручніше оформити в табличному вигляді:


Обчислення можна провести на микрокалькуляторе, але набагато краще використовувати Ексель - і швидше, і без помилок; дивимося короткий відеоролик:

Таким чином, отримуємо наступну систему:

Тут можна помножити друге рівняння на 3 та з 1-го рівняння почленно відняти 2-е. Але це везіння - на практиці системи частіше не подарункові, і в таких випадках рятує метод Крамера:
, Значить, система має єдине рішення.

Виконаємо перевірку. Розумію, що не хочеться, але навіщо ж пропускати помилки там, де їх можна стовідсотково не пропустити? Підставами знайдене рішення в ліву частину кожного рівняння системи:

Отримано праві частини відповідних рівнянь, значить, система вирішена правильно.

Таким чином, шукана апроксимуюча функція: - з всіх лінійних функцій експериментальні дані найкращим чином наближає саме вона.

На відміну від прямий Залежно товарообігу магазину від його площі, знайдена залежність є зворотного (Принцип «чим більше - тим менше»), І цей факт відразу виявляється по негативному кутовому коефіцієнту. функція повідомляє нам про те, що з збільшення якогось показника на 1 одиницю значення залежного показника зменшується в середньомуна 0,65 одиниць. Як то кажуть, чим вище ціна на гречку, тим менше її продано.

Для побудови графіка апроксимуючої функції знайдемо два її значення:

і виконаємо креслення:


Побудована пряма називається лінією тренда (А саме - лінією лінійного тренда, тобто в загальному випадку тренд - це не обов'язково пряма лінія). Всім знайомий вираз «бути в тренді», і, думаю, що цей термін не потребує додаткових коментарів.

Обчислимо суму квадратів відхилень між емпіричними і теоретичними значеннями. Геометрично - це сума квадратів довжин «малинових» відрізків (Два з яких настільки малі, що їх навіть не видно).

Обчислення зведемо в таблицю:


Їх можна знову ж провести вручну, на всякий випадок приведу приклад для 1-ї точки:

але набагато ефективніше надійти вже відомим чином:

Ще раз повторимо: в чому сенс отриманого результату? з всіх лінійних функцій у функції показник є найменшим, тобто в своєму сімействі це найкраще наближення. І тут, до речі, не випадковий заключний питання завдання: а раптом запропонована експоненціальна функція буде краще наближати експериментальні точки?

Знайдемо відповідну суму квадратів відхилень - щоб розрізняти, я позначу їх буквою «епсилон». Техніка точно така ж:


І знову на всякий пожежний обчислення для 1-ї точки:

У Ексель користуємося стандартною функцією EXP (Синтаксис можна подивитися в екселевскій Довідці).

висновок:, Значить, експоненціальна функція наближає експериментальні точки гірше, ніж пряма .

Але тут слід зазначити, що «гірше» - це ще не означає, що погано. Зараз побудував графік цієї експоненційної функції - і він теж проходить близько до точок - та так, що без аналітичного дослідження і сказати важко, яка функція точніше.

На цьому рішення закінчено, і я повертаюся до питання про натуральних значеннях аргументу. У різних дослідженнях, як правило, економічних або соціологічних, натуральними «іксами» нумерують місяці, роки чи інші рівні часові проміжки. Розглянемо, наприклад, таку задачу.

Приклад.

Експериментальні дані про значення змінних х і у наведені в таблиці.

В результаті їх вирівнювання отримана функція

використовуючи метод найменших квадратів, Апроксимувати ці дані лінійною залежністю y \u003d ax + b (Знайти параметри а і b). З'ясувати, яка з двох ліній краще (в сенсі методу найменших квадратів) вирівнює експериментальні дані. Зробити креслення.

Суть методу найменших квадратів (МНК).

Завдання полягає в знаходженні коефіцієнтів лінійної залежності, при яких функція двох змінних а і b приймає найменше значення. Тобто, при даних а і b сума квадратів відхилень експериментальних даних від знайденої прямої буде найменшою. У цьому вся суть методу найменших квадратів.

Таким чином, рішення прикладу зводиться до знаходження екстремуму функції двох змінних.

Висновок формул для знаходження коефіцієнтів.

Складається і вирішується система з двох рівнянь з двома невідомими. Знаходимо приватні похідні функції по змінним а і b, Прирівнюємо ці похідні до нуля.

Вирішуємо отриману систему рівнянь будь-яким методом (наприклад методом підстановки або) і отримуємо формули для знаходження коефіцієнтів по методу найменших квадратів (МНК).

при даних а і b функція приймає найменше значення. Доказ цього факту наведено.

Ось і весь метод найменших квадратів. Формула для знаходження параметра a містить суми,,, і параметр n - кількість експериментальних даних. Значення цих сум рекомендуємо обчислювати окремо. коефіцієнт b знаходиться після обчислення a.

Настав час згадати про виходячи приклад.

Рішення.

У нашому прикладі n \u003d 5. Заповнюємо таблицю для зручності обчислення сум, які входять в формули шуканих коефіцієнтів.

Значення в четвертому рядку таблиці отримані множенням значень 2-ий рядки на значення 3-ої рядка для кожного номера i.

Значення в п'ятому рядку таблиці отримані зведенням в квадрат значень 2-ий рядки для кожного номера i.

Значення останнього стовпця таблиці - це суми значень за рядками.

Використовуємо формули методу найменших квадратів для знаходження коефіцієнтів а і b. Підставляємо в них відповідні значення з останнього стовпця таблиці:

отже, y \u003d 0.165x + 2.184 - шукана апроксимуюча пряма.

Залишилося з'ясувати яка з ліній y \u003d 0.165x + 2.184 або краще апроксимує вихідні дані, тобто провести оцінку методом найменших квадратів.

Оцінка похибки методу найменших квадратів.

Для цього потрібно обчислити суми квадратів відхилень вихідних даних від цих ліній і , Менше значення відповідає лінії, яка краще в сенсі методу найменших квадратів апроксимує вихідні дані.

Так як, то пряма y \u003d 0.165x + 2.184 краще наближає вихідні дані.

Графічна ілюстрація методу найменших квадратів (МНК).

На графіках все прекрасно видно. Червона лінія - це знайдена пряма y \u003d 0.165x + 2.184, Синя лінія - це , Рожеві точки - це вихідні дані.

Для чого це потрібно, до чого всі ці апроксимації?

Я особисто використовую для вирішення завдань згладжування даних, завдань інтерполяції і екстраполяції (у вихідному прикладі могли б попросити знайти занчение спостерігається величини y при x \u003d 3 або при x \u003d 6 за методом МНК). Але докладніше поговоримо про це пізніше в іншому розділі сайту.

Доведення.

Щоб при знайдених а і b функція приймала найменше значення, необхідно щоб в цій точці матриця квадратичної форми диференціала другого порядку для функції була позитивно визначеною. Покажемо це.

Диференціал другого порядку має вигляд:

Тобто

Отже, матриця квадратичної форми має вигляд

причому значення елементів не залежать від а і b.

Покажемо, що матриця позитивно визначена. Для цього потрібно, щоб кутові мінори були позитивними.

Кутовий мінор першого порядку . Нерівність суворе, так як точки незбіжні. Надалі це будемо мати на увазі.

Кутовий мінор другого порядку

Доведемо, що методом математичної індукції.

висновок: Знайдені значення а і b відповідають найменшим значенням функції , Отже, є шуканими параметрами для методу найменших квадратів.

Знаходить широке застосування в економетрики в вигляді чіткої економічної інтерпретації її параметрів.

Лінійна регресія зводиться до знаходження рівняння виду

або

рівняння виду дозволяє за заданим значенням параметра хмати теоретичні значення результативної ознаки, підставляючи в нього фактичні значення фактора х.

Побудова лінійної регресії зводиться до оцінки її параметрів - аі в.Оцінки параметрів лінійної регресії можуть бути знайдені різними методами.

Класичний підхід до оцінювання параметрів лінійної регресії заснований на методі найменших квадратів(МНК).

МНК дозволяє отримати такі оцінки параметрів аі в,при яких сума квадратів відхилень фактичних значень ре-результативності ознаки (У)від розрахункових (теоретичних) мі-мінімальними:

Щоб знайти мінімум функції, треба обчислити част-ні похідні по кожному з параметрів аі bі прирівняти їх до нуля.

Позначимо через S, тоді:

Перетворюючи формулу, отримаємо наступну систему нормальних рівнянь для оцінки параметрів а і в:

Вирішуючи систему нормальних рівнянь (3.5) або методом послідовного виключення змінних, або методом визначників, знайдемо шукані оцінки параметрів аі в.

параметр в називається коефіцієнтом регресії. Його величина показує середня зміна результату зі зміною фактора на одну одиницю.

Рівняння регресії завжди доповнюється показником тісноти зв'язку. При використанні лінійної регресії в якості такого показника виступає лінійний коефіцієнт кореляції. Існують різні модифікації формули лінійного коефіцієнта кореляції. Деякі з них наведені нижче:

Як відомо, лінійний коефіцієнт кореляції знаходиться в межах: -1 ≤ ≤ 1.

Для оцінки якості підбору лінійної функції розраховується квадрат

Лінійного коефіцієнта кореляції званий коефіцієнтом детермінації.Коефіцієнт детермінації характеризує частку дисперсії результативної ознаки у,пояснюється регресією, в загальній дисперсії результативної ознаки:

Відповідно величина 1 - характеризує частку диспер-сі у,викликану впливом інших неврахованих в моделі факторів.

Питання для самоконтролю

1. Суть методу найменших квадратів?

2. Скількома змінними надається парна регресія?

3. Яким коефіцієнтом визначається тіснота зв'язку між змінами?

4. В яких межах визначається коефіцієнт детермінації?

5. Оцінка параметра b в кореляційно-регресійному аналізі?

1. Крістофер Доугерті. Введення в економетрію. - М .: ИНФРА - М, 2001 - 402 с.

2. С.А. Бородич. Економетрика. Мінськ ТОВ «Нове знання» 2001.

3. Р.У. Рахметова Короткий курс з економетрики. Навчальний посібник. Алмати. 2004. -78с.

4. І.І. Елісеева.Економетріка. - М .: «Фінанси і статистика», 2002.

5. Щомісячний інформаційно-аналітичний журнал.

Нелінійні економічні моделі. Нелінійні моделі регресії. Перетворення змінних.

Нелінійні економічні моделі ..

Перетворення змінних.

Коефіцієнт еластичності.

Якщо між економічними явищами існують нелі-лінійні співвідношення, то вони виражаються за допомогою відпо-ціалу нелінійних функцій: наприклад, рівносторонній ги-перболи , параболи другого ступеня і д.р.

Розрізняють два класи нелінійних регресій:

1. Регресії, нелінійні щодо включених в аналіз пояснюють змінних, але лінійні по оцінюваним параметрами, наприклад:

Поліноми різних ступенів -,;

Рівнобічна гіпербола -;

Напівлогарифмічний функція -.

2. Регресії, нелінійні по оцінюваним параметрами, наприклад:

Статечна -;

Показова -;

Експоненціальна -.

Загальна сума квадратів відхилень індивідуальних значень результативної ознаки увід середнього значення викликана впливом безлічі причин. Умовно розділимо всю сукупність причин на дві групи: досліджуваний фактор хі інші фактори.

Якщо фактор не впливає на результат, то лінія регрес-сі на графіку паралельна осі охі

Тоді вся дисперсія результативної ознаки зумовлена \u200b\u200bвпливом інших факторів і загальна сума квадратів відхилень співпаде із залишковою. Якщо ж інші чинники не впливають на результат, то у пов'язанийз хфункціонально і залишкова сума квадратів дорівнює нулю. В цьому випадку сума квадратів відхилень, обумовлена \u200b\u200bрегресією, збігається із загальною сумою квадратів.

Оскільки не всі точки поля кореляції лежать на лінії регресії, то завжди має місце їх розкид як обумовлений впли-яніем фактора х, Т. Е. Регресією упо х,так і викликаний дією інших причин (не можна було пояснити варіація). Пригод-ність лінії регресії для прогнозу залежить від того, яка частина загальної варіації ознаки уприпадає на пояснення вариа-цію

Очевидно, що якщо сума квадратів відхилень, обумовлена \u200b\u200bрегресією, буде більше залишкової суми квадратів, то рівняння регресії статистично значимо і фактор хмає суттєвий вплив на результат у.

, т. е. з числом свободи незалежного варіювання ознаки. Число ступенів свободи пов'язано з числом одиниць сукупності n та з числом визначаються по ній констант. Стосовно до досліджуваної проблеми число ступенів свободи має показати, скільки незалежних откло-нений з п

Оцінка значущості рівняння регресії в цілому дається з по-міццю Fкритерію Фішера. При цьому висувається нульова ги-гіпотез, що коефіцієнт регресії дорівнює нулю, т. Е. b \u003d0, і отже, фактор хне впливає на результат у.

Безпосередньому розрахунку F-критерію передує аналіз дисперсії. Центральне місце в ньому займає розкласти-ня загальної суми квадратів відхилень змінної увід середньо го значення уна дві частини - «Пояснення» і «непояснених»:

Загальна сума квадратів відхилень;

Сума квадратів відхилення пояснена регресією;

Залишкова сума квадратів відхилення.

Будь-яка сума квадратів відхилень пов'язана з числом степу-ній волі , т. е. з числом свободи незалежного варіювання ознаки. Число ступенів свободи пов'язано з числом одиниць сукупності n і з числом визначаються по ній констант. Стосовно до досліджуваної проблеми число степені волі має показати, скільки незалежних откло-нений з пможливих потрібно для утворення даної суми квадратів.

Дисперсія на одну ступінь свободиD.

F-відношення (F-критерій):

Ecли нульова гіпотеза справедлива, То факторна і залишкова дисперсії не відрізняються один від одного. Для Н 0 необхідно спростування, щоб факторна дисперсія перевищувала залишкову в кілька разів. Англійським статистиком Снедекора раз-роблені таблиці критичних значень F-відношення при різних уровняхсущественності нульової гіпотези і різній кількості степенейсвободи. табличне значення Fкритерію - це максимальна величина відносини дисперсій, яка може мати місце пріслучайном їх розбіжності для даного рівня ймовірності наявності нульової гіпотези. Обчислення значення F-відносини визнається достовірним, якщо про більше табличного.

В цьому випадку нульова гіпотеза про відсутність зв'язку ознак відхиляється і робиться висновок про суттєвості зв'язку з цим: F факт\u003e F таблН 0 відхиляється.

Якщо ж величина виявиться менше табличній F факт \u003c, F табл , То ймовірність нульової гіпотези вище заданого рівня і вона не може бути відхилена без серйозного ризику зробити неправильний висновок про наявність зв'язку. У цьому випадку рівняння регресії вважається статистично незначущим. Н про не відхиляється.

Стандартна помилка коефіцієнта регресії

Для оцінки суттєвості коефіцієнта регресії його ве-личина порівнюється з його стандартною помилкою, т. Е. Визначається фактичне значення tкритерію Стьюдентa: яке потім порівнюється з табличним значенням при певному рівні значущості і числі ступенів свободи ( n- 2).

Стандартна помилка параметра а:

Значимість лінійного коефіцієнта кореляції перевірити-ється на основі величини помилки коефіцієнта кореляції т r:

Загальна дисперсія ознаки х:

Множинна лінійна регресія

побудова моделі

множинна регресія є регресію результативного ознаки з двома і більшим числом факторів, т. е. модель виду

Регресія може дати гарний результат при моделі-ровании, якщо впливом інших факторів, що впливають на об'єкт дослідження, можна знехтувати. Поведінка окремих економі-чеських змінних контролювати не можна, т. Е. Не вдається забезпе-чити рівність всіх інших умов для оцінки впливу одно-го досліджуваного фактора. В цьому випадку слід спробувати виявити вплив інших факторів, ввівши їх в модель, т. Е. Пост-роіть рівняння множинної регресії: y \u003d a + b 1 x 1 + b 2 + ... + b p x p + .

Основна мета множинної регресії - побудувати модель з великим числом факторів, визначивши при цьому вплив кожного з них окремо, а також сукупну їх вплив на модельований показник. Специфікація моделі включає в себе два кола питань: відбір фак-торів і вибір виду рівняння регресії