Calcul de la méthode des moindres carrés. Où la méthode des moindres carrés s'applique

Méthode de moindres carrés (MNA, anglais. Moindres carrés ordinaires, OLS) -- méthode mathématiqueUtilisé pour résoudre diverses tâches basées sur la réduction de la somme des carrés des écarts de certaines fonctions des variables souhaitées. Il peut être utilisé pour "résoudre" les systèmes d'équations redéfinis (lorsque le nombre d'équations dépasse le nombre d'équivalents), pour rechercher des solutions dans le cas de systèmes non linéaires non linéaires classiques (non redéfinis), pour approximation des valeurs de points Par une certaine fonction. La MNA est l'une des méthodes d'analyse de régression de base pour évaluer les paramètres inconnus de modèles de régression sur des données sélectives.

Essence de la méthode des moindres carrés

Supposons que l'ensemble des variables inconnues (paramètres) soit un ensemble de fonctions de cet ensemble de variables. La tâche consiste à sélectionner de telles valeurs x afin que les valeurs de ces fonctions soient aussi proches que possible de certaines valeurs. Nous parlons essentiellement de «solutions» du système d'équations redéfini dans le sens spécifié de la proximité maximale des parties gauche et droite du système. L'essence de la MNA est de choisir comme une "mesure de la proximité" la somme des carrés des écarts des parties gauche et droite. Ainsi, l'essence de MNK peut être exprimée comme suit:

Si le système d'équations ait une solution, au moins la somme des carrés sera nulle et des solutions précises du système d'équations analytiquement ou, par exemple, par diverses méthodes d'optimisation numériques peuvent être trouvées. Si le système est remplacé, c'est-à-dire d'incroyable, le nombre d'équations indépendantes est supérieur au nombre de variables souhaitées, le système n'a pas de solution précise et la méthode des moindres carrés vous permet de trouver un vecteur "optimal" dans le sens de la proximité maximale des vecteurs et ou la proximité maximale du vecteur anormal à zéro (la proximité est comprise dans le sens de la distance euclidienne).

Exemple - Système d'équations linéaires

En particulier, la méthode des plus petites carrés peut être utilisée pour "résoudre" un système d'équations linéaires

où la matrice n'est pas carrée, mais une taille rectangulaire (plus précisément le rang de la matrice A est plus grand que le nombre de variables souhaitées).

Un tel système d'équations, en général, n'a aucune solution. Par conséquent, ce système peut être "résolu" uniquement dans le sens de choisir un tel vecteur pour minimiser la "distance" entre les vecteurs et. Pour ce faire, vous pouvez appliquer le critère de minimisation de la somme des carrés de la différence entre les parties gauche et droite des équations du système, c'est-à-dire. Il est facile de montrer que la solution à ce problème de minimisation conduit à la solution du système d'équations suivant.

Utilisation de l'opérateur de transmission pseudo, la solution peut être réécrite comme suit:

où est une matrice pseudo-masculine pour.

Cette tâche peut également être "résolue" à l'aide du MNC dite pondéré (voir ci-dessous), lorsque différentes équations de système reçoivent un poids différent des considérations théoriques.

JUSTIFICATION STRICTE ET ÉTABLISSEMENT DES CONNAISSANCES DE L'APPLICABILITÉ SIGNIFIQUE DE LA MÉTHODE DE DANA A. A. Markov et A. N. Kolmogorov.

MNG dans l'analyse de régression (approximation des données) [Modifier | Modifier Vicky Text] Il y a des valeurs de certaines variables (elles peuvent être les résultats des observations, des expériences, etc.) et des variables correspondantes. La tâche consiste à garantir que la relation entre et approximative de certaines fonctions connues de certains paramètres inconnus est en fait, c'est-à-dire meilleures valeurs paramètres, le plus approchant des valeurs aux valeurs réelles. En fait, cela est réduit au cas des "solutions" du système d'équations redéfinis relatif:

En analyse de régression et, en particulier, il existe des modèles de relations probabilistes entre variables et en économétrie

où - les erreurs de modèle dizaines.

En conséquence, les écarts des valeurs observées du modèle sont supposés déjà dans le modèle lui-même. L'essence de la MNA (ordinaire, classique) consiste à trouver de tels paramètres dans lesquels la somme des carrés des écarts (erreurs de modèles de régression est souvent appelée résidus de régression) sera minimale:

où est l'anglais. La somme résiduelle des carrés est définie comme suit:

En général, la solution à ce problème peut être effectuée par des méthodes d'optimisation numériques (minimisation). Dans ce cas, ils parlent de MNG non linéaire (NLS ou NLLS - anglais. Les moindres carrés non linéaires). Dans de nombreux cas, vous pouvez obtenir une solution analytique. Pour résoudre le problème de minimisation, il est nécessaire de trouver des points fixes de la fonction en le dirigeant selon des paramètres inconnus, assurant des dérivés à zéro et à la résolution du système d'équations résultant:

MNA dans le cas de la régression linéaire [EDIT | Modifier le texte Wiki]

Laissez la dépendance à la régression être linéaire:

Soit Y être une colonne de vecteur de l'observation de la variable explicative et est la sélection de facteurs d'observation (lignes de la matrice - vecteurs de facteurs dans cette observation, selon les colonnes - valeurs de vecteur de ce facteur dans toutes les observations) . La représentation matricielle du modèle linéaire est la suivante:

Ensuite, le vecteur d'estimation de la variable explicative et des résidus de régression seront égaux

en conséquence, la somme des carrés de résidus de régression sera égal à

Différencie cette fonctionnalité par le vecteur de paramètres et assimilant des dérivés à zéro, nous obtenons un système d'équations (sous forme matricielle):

Dans une forme matricielle déchiffrée, ce système d'équations est la suivante:

où toutes les quantités sont prises dans toutes les valeurs valides.

Si le modèle comprend une constante (comme d'habitude), donc du tout, dans le coin supérieur gauche de la matrice du système d'équation, il existe un certain nombre d'observations et dans les autres éléments de la première ligne et la première colonne - Il suffit de la quantité de valeurs variables: et le premier élément de la partie droite du système -.

La solution de ce système d'équations et donne une formule générale pour les estimations MN pour un modèle linéaire:

À des fins analytiques, cette dernière représentation de cette formule est utile (dans le système d'équations dans la division sur n, au lieu des montants apparaissent l'arithmétique moyenne). Si les données sont centrées dans le modèle de régression, alors dans cette représentation, la première matrice donne un sens à une matrice de covariance sélective de facteurs et le deuxième - vecteur de covariance de facteurs avec une variable dépendante. Si, en outre, les données sont encore informées sur la vitesse (c'est-à-dire normalisée), la première matrice a la signification de la matrice de corrélation sélective des facteurs, le deuxième vecteur - Vecteur de corrélations sélectives des facteurs avec une variable dépendante .

Une propriété importante des estimations de MNA pour les modèles à constante - la ligne de régression constante passe à travers le centre de gravité des données d'échantillon, c'est-à-dire l'égalité:

En particulier, en dernier recours, lorsque le seul régresseur est une constante, nous obtenons que l'évaluation MNC-Evaluation d'un seul paramètre (réellement constante) est égale à la valeur moyenne de la variable explicable. C'est-à-dire la moyenne arithmétique, connue pour ses bonnes propriétés des lois de grand nombre, est également une estimation MNK - satisfait au critère d'un minimum de la somme des carrés des écarts d'elle.

Événements privés les plus simples [Modifier | Modifier le texte Wiki]

Dans le cas de la régression linéaire appariée, lorsque la dépendance linéaire d'une variable d'une autre est estimée, les formules de calcul sont simplifiées (vous pouvez faire sans matrice algèbre). Le système d'équations est:

De là, il est facile de trouver des évaluations de coefficients:

Malgré le fait que, dans le cas général d'un modèle avec une constante préférable, dans certains cas, il est connu des considérations théoriques que la constante devrait être nulle. Par exemple, en physique, la dépendance entre la tension et le courant a la forme; Mesurer la tension et la résistance du courant, il est nécessaire d'estimer la résistance. Dans ce cas, nous parlons du modèle. Dans ce cas, au lieu du système d'équations, nous avons la seule équation

Par conséquent, la formule d'estimation du seul coefficient a la forme

Propriétés statistiques des estimations MNK [Modifier | Modifier le texte Wiki]

Tout d'abord, nous notons que pour les modèles linéaires des estimations de la MNA sont des estimations linéaires, comme suit la formule ci-dessus. Les estimations MNK sont nécessaires et mettent suffisamment la mise en œuvre des conditions les plus importantes pour l'analyse de régression: conditionnel par des facteurs Les attentes mathématiques d'une erreur aléatoire devraient être nulles. Cette condition, en particulier, est effectuée, si l'attente mathématique d'erreurs aléatoires est nulle, et des facteurs et des erreurs aléatoires sont des variables aléatoires indépendantes.

La première condition peut être considérée toujours pour toujours pour les modèles avec une constante, car la constante reprend l'attente mathématique non nulle des erreurs (par conséquent, les modèles avec une constante en général sont préférables). La plus petite régression carrée covariance

La deuxième condition est la condition de facteurs exogènes - principale. Si cette propriété n'est pas remplie, on peut supposer que presque toutes les estimations seront extrêmement insatisfaisantes: elles ne seront même pas légales (c'est-à-dire qu'une très grande quantité de données ne permet pas d'obtenir des estimations qualitatives dans ce cas). Dans le cas classique, une hypothèse plus forte de la détermination des facteurs est faite, contrairement à une erreur aléatoire, qui signifie automatiquement l'accomplissement de la condition d'exogence. En général, pour la cohérence des estimations, il suffit d'effectuer une condition d'exogence avec la convergence de la matrice à une certaine matrice non dégénérée avec une augmentation de la taille de l'échantillon à l'infini.

Outre la cohérence et la non-capacité, les estimations (habituelles), la MNC était également efficace (la meilleure classe d'estimations non constatées linéaires) nécessite des propriétés supplémentaires d'une erreur aléatoire:

Dispersion permanente (égale) d'erreurs aléatoires dans toutes les observations (manque d'hétérosdasticité):

Aucune corrélation (autocorrélation) d'erreurs aléatoires dans différentes observations entre elles

Ces hypothèses peuvent être formulées pour la matrice de covariance d'erreurs aléatoires.

Le modèle linéaire satisfaire de telles conditions s'appelle classique. L'évaluation MNK pour la régression linéaire classique constitue les estimations les plus efficaces de la catégorie de toutes les estimations non activées linéaires (dans la littérature anglophone utilisent parfois le meilleur estimateur impartial linéaire - la meilleure évaluation sans ambiguïté linéaire; Le théorème de Gauss est plus souvent donné dans la littérature nationale. Markova). Comme il est facile de montrer, la matrice de covariance des chances des coefficients sera égale à:

L'efficacité signifie que cette matrice de covariance est "minimale" (toute combinaison linéaire de coefficients, et en particulier les coefficients eux-mêmes, ont une dispersion minimale), c'est-à-dire dans la classe d'estimations incroyables linéaires de la meilleure estimation du MNK. Les éléments diagonaux de cette matrice - dispersion des estimations des coefficients sont des paramètres importants de la qualité des estimations. Cependant, il est impossible de calculer la matrice de covariance, car la dispersion d'erreurs aléatoires est inconnue. Il peut être prouvé que l'estimation sans restriction et riche (pour un modèle linéaire classique) de la dispersion des erreurs aléatoires est la valeur:

Substituant cette valeur dans la formule de la matrice de la covariance et obtenir une estimation de la matrice de covariance. Les estimations obtenues sont également attribuées et riches. Il est également important que l'évaluation de la dispersion des erreurs (et donc des dispersions de coefficients) et d'estimation des paramètres de modèle soient indépendants. valeurs aléatoiresCela vous permet d'obtenir des statistiques de test pour tester les hypothèses sur les coefficients de modèle.

Il convient de noter que si les hypothèses classiques ne sont pas remplies, les estimations MNK des paramètres ne sont pas les estimations les plus efficaces (restantes non garanties et cohérentes). Cependant, l'évaluation de la matrice de covariance est encore plus détériorée - elle devient décalée de manière peu coûteuse. Cela signifie que les conclusions statistiques sur la qualité du modèle construit dans ce cas peuvent être extrêmement peu fiables. L'une des options de résolution du dernier problème est l'utilisation d'évaluations spéciales de la matrice de covariance, qui sont riches dans des violations des hypothèses classiques (erreurs standard sous forme d'erreurs blanches et standard sous la forme de nouvelle USTA). Une autre approche consiste à appliquer le soi-disant MNC généralisé.

MNC généralisé [Modifier | Modifier le texte Wiki]

Article principal: La méthode généralisée de moindres carrés

La méthode de moindres carrés permet une généralisation large. Au lieu de minimiser la somme des carrés des résidus, vous pouvez minimiser une forme quadratique définie positive du vecteur résiduel, où - une matrice de poids définie positivement symétrique. Normal MNC est un cas particulier de cette approche, lorsque la matrice de poids est proportionnelle à une seule matrice. Comme on l'appelle de la théorie des matrices symétriques (ou des opérateurs) pour de telles matrices, il existe une décomposition. Par conséquent, la fonctionnalité spécifiée peut être représentée comme suit.

c'est-à-dire que cette fonctionnalité peut être représentée comme la somme des carrés de "résidus" convertis. Ainsi, vous pouvez sélectionner la classe des moindres carrés méthodes - LS-Méthodes (moindres carrés).

Il a été prouvé (théorème Aitken), qui pour un modèle de régression linéaire généralisé (dans lequel aucune limitation n'est imposée à la matrice de covarier d'erreurs aléatoires) sont les estimations les plus efficaces (dans la classe d'estimations non liées linéaires) sont des estimations de T.N. MNC généralisé (Omna, GLS - Moins de carrés généralisés) - Les procédés d'une matrice de poids égal à la matrice de covariance inverse d'erreurs aléatoires :.

Il peut être montré que la formule pour OmNa-estimation des paramètres du modèle linéaire a la forme

La matrice de covariance de ces estimations sera respectivement égale

En fait, l'essence de l'Omna est une transformation (P) spécifique des données source et l'utilisation de la MNC ordinaire pour transformer des données. Le but de cette transformation concerne les données converties erreurs aléatoires satisfaire déjà des hypothèses classiques.

MNC pondéré [EDIT | Modifier le texte Wiki]

Dans le cas d'une matrice de poids diagonale (et d'où la matrice de covariance d'erreurs aléatoires), nous avons le soi-disant MNA pondéré (moindres carrés pondérés WLS). Dans ce cas, la somme pondérée des carrés des résidus de modèle est minimisée, c'est-à-dire que chaque observation reçoit un "poids", une dispersion inversement proportionnelle d'une erreur aléatoire dans cette observation:

En fait, les données sont converties par des observations de pesée (division par magnitude proportionnelle à la Écart-type Les erreurs aléatoires) et la MNA ordinaire s'appliquent aux données suspendues.

En choisissant un type de fonction de régression, c'est-à-dire Le type de modèle de dépendance de la dépendance Y de x (ou x de y), par exemple, le modèle linéaire Y X \u003d A + BX, il est nécessaire de déterminer les valeurs spécifiques des coefficients de modèle.

A différentes valeurs, A et B, un nombre infini de dépendances de la forme YX \u003d A + BX peut être construit sur le plan de coordonnées Il existe un nombre infini de direct, nous avons également besoin d'une telle dépendance qui correspond aux valeurs observées. de la meilleure façon possible. Ainsi, la tâche est réduite à la sélection des meilleurs coefficients.

Fonction linéaire A + BX Nous recherchons uniquement sur certaines observations existantes. Pour trouver une fonction avec la meilleure conformité avec les valeurs observées, nous utilisons la méthode des plus petits carrés.

Notez: y i - la valeur calculée par l'équation y i \u003d a + bx i. Y I est la valeur mesurée, ε i \u003d y i -y i - la différence entre les mesures mesurées et calculées par les valeurs d'équation, ε i \u003d y i -a-bx i.

Dans la méthode des moindres carrés, ε i, la différence entre les mesurées Y I et les valeurs calculées par les valeurs d'équation Y, j'étais minime. Par conséquent, nous trouvons les coefficients a et b afin que la somme des carrés des écarts des valeurs observées des valeurs de la ligne droite de la régression s'est avérée être la plus petite:

Explorer cette fonction d'arguments A et utilisant des dérivés à l'extrême, il peut être prouvé que la fonction prend la valeur minimale si les coefficients A et B sont des solutions système:

(2)

Si nous divisons les deux parties d'équations normales sur N, alors nous obtenons:

Étant donné que (3)

Recevoir D'ici, substituer la valeur A dans la première équation, nous obtenons:

Dans le même temps, B s'appelle le coefficient de régression; A s'appelle un membre libre de l'équation de régression et calculez selon la formule:

Le direct qui en résulte est une estimation de la ligne théorique de régression. On a:

Donc, C'est l'équation de la régression linéaire.

La régression peut être droite (B\u003e 0) et inverse (B exemple 1. Les résultats de mesure des valeurs X et Y sont donnés dans le tableau:

x I.	-2	0	1	2	4
y I.	0.5	1	1.5	2	3

En supposant qu'entre X et Y, il existe une dépendance linéaire Y \u003d A + BX, quelle méthode de moindres carrés déterminent les coefficients A et B.

Décision. Ici n \u003d 5
x i \u003d -2 + 0 + 1 + 2 + 4 \u003d 5;
x i 2 \u003d 4 + 0 + 1 + 4 + 16 \u003d 25
x I y i \u003d -2 0,5 + 0 1 + 1 1,5 + 2 2 + 4 3 \u003d 16.5
y i \u003d 0.5 + 1 + 1,5 + 2 + 3 \u003d 8

et le système normal (2) a la forme

Résoudre ce système, nous obtenons: B \u003d 0,425, A \u003d 1,175. Par conséquent, y \u003d 1,175 + 0,425x.

Exemple 2. Il existe un échantillon de 10 observations d'indicateurs économiques (x) et (y).

x I.	180	172	173	169	175	170	179	170	167	174
y I.	186	180	176	171	182	166	182	172	169	177

Il est nécessaire de trouver une équation de régression sélective sur X. Construire une ligne sélective de régression Y à X.

Décision. 1. Nous organiserons des données sur les valeurs X I et Y I. Nous avons une nouvelle table:

x I.	167	169	170	170	172	173	174	175	179	180
y I.	169	171	166	172	180	176	177	182	182	186

Pour simplifier les calculs, nous effectuerons la table calculée dans laquelle vous apportez les valeurs numériques nécessaires.

x I.	y I.	x i 2.	x je y je
167	169	27889	28223
169	171	28561	28899
170	166	28900	28220
170	172	28900	29240
172	180	29584	30960
173	176	29929	30448
174	177	30276	30798
175	182	30625	31850
179	182	32041	32578
180	186	32400	33480
Σx i \u003d 1729	Σy i \u003d 1761	Σx i 2 299105	Σx je y i \u003d 304696
x \u003d 172.9	y \u003d 176.1.	x i 2 \u003d 29910.5	xy \u003d 30469.6

Selon la formule (4), calculez le coefficient de régression

et selon la formule (5)

Ainsi, l'équation sélective de la régression a la forme Y \u003d -59.34 + 1.3804X.
Application sur le plan de coordonnées du point (x i; y i) et notez la régression directe.

Figure 4.

La figure 4 montre comment les valeurs observées sont situées par rapport à la ligne de régression. Pour l'estimation numérique des écarts y i de y i i, où je suis observé, et je suis déterminé par la régression de la valeur, sera une table:

x I.	y I.	Y I.	Y i -y je
167	169	168.055	-0.945
169	171	170.778	-0.222
170	166	172.140	6.140
170	172	172.140	0.140
172	180	174.863	-5.137
173	176	176.225	0.225
174	177	177.587	0.587
175	182	178.949	-3.051
179	182	184.395	2.395
180	186	185.757	-0.243

Les valeurs de Y I sont calculées en fonction de l'équation de régression.

Une déviation notable de certaines valeurs observées de la ligne de régression est expliquée par un petit nombre d'observations. Dans l'étude du degré dépendance linéaire Y de x Le nombre d'observations est pris en compte. La force de la dépendance est déterminée par le coefficient de corrélation.

Quelle est l'application plus large dans divers domaines de la science et de l'activité pratique. Cela peut être la physique, la chimie, la biologie, l'économie, la sociologie, la psychologie, etc., ainsi de suite. La volonté du sort doit souvent faire face à l'économie et, par conséquent, je vous exécuterai un junior dans un pays incroyable appelé Économétrique \u003d) ... comment tu ne veux pas ça ?! Il y a très bien - vous avez juste besoin de décider! ... Mais voici le fait que vous voulez probablement certainement - c'est d'apprendre à résoudre les tâches méthode de moindres carrés. Et surtout les lecteurs diligents apprendront à les résoudre non seulement indéniablement, mais aussi très rapidement ;-) mais d'abord cadre général de la tâche + Exemple associé:

Supposons que dans certains domaines, les indicateurs ayant une expression quantitative sont étudiés. Dans ce cas, il y a toutes les raisons de croire que l'indicateur dépend de l'indicateur. Cette assistance peut être comme une hypothèse scientifique, ainsi que sur la base du primaire bon sens. Quittez, cependant, la science de côté et explorer davantage de zones appétissantes - à savoir les magasins d'alimentation. Désigné par:

- quartier commerçant du magasin de restauration, m²,
- Le chiffre d'affaires annuel du magasin d'aliments, des millions de roubles.

Il est clair que plus la superficie du magasin, plus il y aura dans la plupart des cas de son chiffre d'affaires.

Supposons que après avoir mené des observations / expériences / comptes / danses avec un tambourin à notre disposition est des données numériques:

Avec les invités, je pense que tout est clair: - C'est la zone du 1er magasin, son chiffre d'affaires annuel, - la région du 2e rangée, son chiffre d'affaires annuel, etc. Au fait, il n'est pas nécessaire d'avoir accès à des matériaux secrets du tout - une estimation assez précise du chiffre d'affaires peut être obtenue par des moyens statistiques mathématiques. Cependant, nous ne sommes pas distraits, le cours d'espionnage commercial est déjà payé \u003d)

Les données Tabar peuvent également être écrites sous forme de points et décrivent dans l'habituel pour nous. système cartésien .

Répondre à une question importante: combien de points sont nécessaires pour une recherche de haute qualité?

Le plus gros le meilleur. Le jeu minimal autorisé est composé de 5 à 6 points. De plus, avec une petite quantité de données, les résultats "anormaux" ne peuvent pas être inclus dans l'échantillon. Ainsi, par exemple, un petit magasin d'élite peut aider davantage de "leurs collègues", ce qui déforme le modèle global, qui est nécessaire pour trouver!

Si vous avez juste besoin de choisir une fonction, horaire qui passe aussi près des points . Cette fonctionnalité est appelée approximation (approximation - approximation) ou alors fonction théorique . De manière générale, ici apparaît immédiatement un "candidat" évident - un degré élevé, dont l'horaire passe à travers tous les points. Mais cette option est compliquée et souvent incorrecte (Parce que l'horaire sera «en boucle» tout le temps et reflétera mal la tendance principale).

Ainsi, la fonction souhaitée doit être assez simple et refléter en même temps la dépendance adéquate. Comment devinez-vous, l'une des méthodes de recherche de telles fonctions et est appelée méthode de moindres carrés. D'abord, nous l'analyserons en général. Laissez une fonction apporter les données expérimentales:


Comment estimer la précision de cette approximation? Calculez et différences (écarts) entre les valeurs expérimentales et fonctionnelles (Apprendre le dessin). La première pensée qui me vient à l'esprit est d'évaluer la qualité du montant, mais le problème est que les différences peuvent être négatives (par exemple, ) Et les écarts à la suite de cette sommation seront mutuellement séparés. Par conséquent, comme une estimation de la précision de la approximation, il convient d'accepter le montant modules Déviations:

ou sous la forme tordue: (Soudain, quelqu'un ne sait pas: - Ceci est la somme Icône et la variable auxiliaire "Compteur", qui prend des valeurs de 1 à).

Approcher des points expérimentaux diverses fonctions, Nous recevrons différentes valeurs et, évidemment, où ce montant est moins - la fonction est plus précise.

Cette méthode existe et l'appelle méthode de moindre modules. Cependant, dans la pratique, il a reçu beaucoup plus de distribution méthode la moins carréeDans lesquelles les valeurs négatives possibles ne sont pas éliminées par le module, mais la construction d'écarts dans la place:

, après quoi les efforts sont dirigés vers la sélection d'une telle fonction afin que la somme des carrés des déviations C'était aussi peu que possible. En fait, d'où le nom de la méthode.

Et maintenant nous revenons à un autre un moment important: Comme indiqué ci-dessus, la fonction sélectionnée doit être assez simple - mais il y a aussi beaucoup de telles fonctions: linéaire , hyperbolique, exponentiel, logarithmique, quadratique etc. Et bien sûr, il aimerait immédiatement "réduire le domaine de l'activité". Quelle classe de fonctions à choisir pour la recherche? Réception primitive, mais efficace:

- les points les plus faciles à représenter Dans le dessin et analysez leur emplacement. S'ils ont tendance à être placés en ligne droite, vous devriez rechercher Équation directe avec des valeurs optimales et. En d'autres termes, le défi consiste à trouver de tels coefficients - de sorte que la somme des carrés des déviations était la plus petite.

Si les points sont situés, par exemple, par hyperball, il n'est pas clair que la fonction linéaire donnera une mauvaise approximation. Dans ce cas, nous recherchons les coefficients les plus «rentables» pour l'équation hyperbole - ceux qui donnent la somme minimale de carrés .

Notez maintenant que dans les deux cas, nous parlons de fonctions de deux variablesdont les arguments sont paramètres des dépendances souhaitées:

Et essentiellement, nous devons résoudre la tâche standard - à trouver fonction minimale de deux variables.

Rappelez notre exemple: supposons que les points «Store» ont tendance à être situés en ligne droite et il y a toutes les raisons de supposer que dépendance linéaire Chiffre d'affaires du secteur shopping. Nous trouverons de tels coefficients "a" et "être" à la somme des carrés des déviations C'était le plus petit. Tout est comme d'habitude - d'abord dérivés privés de la 1ère commande. Selon règle de linéarité Vous pouvez différencier directement dans l'icône de montant:

Si vous souhaitez utiliser ces informations pour un essai ou des cours - je serai très reconnaissant pour le lien dans la liste des sources, de tels calculs détaillés trouveront un peu où:

Faisons un système standard:

Nous réduisons chaque équation sur la "Deuce" et, en outre, des montants "effondrent":

Noter : Analysez de manière indépendante pourquoi "A" et "être" peut être retiré de la somme icône. Au fait, cela peut être fait officiellement avec la quantité

Réécrivez le système dans le formulaire "appliqué":

Après cela, l'algorithme de résolution de notre tâche est lancé:

Les coordonnées des points connaissent-nous? Nous savons. Montant Pouvons-nous trouver? Facilement. Maquillage plus simple Système de deux équations linéaires avec deux inconnus("A" et "être"). Système résolve, par exemple, méthode CramerEn conséquence, nous avons un point stationnaire. Vérification une condition suffisante de extremum, vous pouvez vous assurer qu'à ce point la fonction Atteint exactement le minimum. Le chèque est associé à des calculs supplémentaires et laissez donc le laisser pour les scènes (Si nécessaire, le cadre manquant peut être visualisé). Nous faisons la conclusion finale:

Une fonction la meilleure façon (au moins comparé à toute autre fonction linéaire) Lie les points expérimentaux . À peu près parlant, son horaire passe aussi près que possible de ces points. Dans la tradition Économétrie La fonction approximative résultante est également appelée Équation de régression linéaire appariée .

Le problème considéré a une grande valeur pratique. Dans une situation avec notre exemple, l'équation vous permet de prédire ce que le chiffre d'affaires commercial ("Igarek") sera au magasin, avec une valeur différente de la zone de négociation (Tom ou autre signification "x"). Oui, la prévision résultante ne sera que prévu, mais dans de nombreux cas, il sera assez précis.

Je ne trouverai qu'une seule tâche avec des chiffres «réels», car il n'y a aucune difficulté à cela - tous les calculs au niveau du programme scolaire 7-8 classe. Dans 95% des cas, vous serez invité à trouver une fonction linéaire, mais à la toute fin de l'article, je montrerai qu'il n'est pas plus difficile de trouver les équations d'hyperboles optimaux, d'exposants et d'autres fonctions.

En fait, il reste à distribuer les petits pains promis - afin que vous ayez appris à résoudre ces exemples non seulement avec précision, mais aussi rapidement. Apprenez soigneusement la norme:

Une tâche

À la suite de l'étude de la relation entre deux indicateurs, les paires de nombres suivantes ont été obtenues:

La méthode des carrés plus petits trouvez une fonction linéaire qui apporte le mieux empirique (expérimenté) Les données. Faire un dessin sur lequel dans le système de coordonnées rectangulaires cartésien pour créer des points expérimentaux et un graphique de la fonction approximative . Trouvez la somme des carrés des écarts entre les valeurs empiriques et théoriques. Découvrez si la fonction sera meilleure (du point de vue de la méthode des moindres carrés) Appliquer les points expérimentaux.

Notez que les valeurs "ICS" sont naturelles et une signification significative caractéristique, que je vais dire un peu plus tard; Mais ils peuvent bien sûr être fractionnaires. De plus, en fonction du contenu d'une tâche en tant que «ICX», et les valeurs «ignorables» peuvent être complètement ou partiellement négatives. Eh bien, nous avons une tâche "sans visage" et nous le commençons décision:

Les coefficients de fonction optimales trouveront en tant que solution du système:

Pour plus d'enregistrement compact, la variable "comptoir" peut être omise, car il est clair que la sommation est effectuée de 1 à.

Le calcul des montants nécessaires est plus pratique pour organiser sur une forme tabulaire:


Les calculs peuvent être effectués sur le microcalculateur, mais il est beaucoup préférable d'utiliser Excel - et plus rapide, et sans erreur; Nous regardons une courte vidéo:

Ainsi, nous obtenons ce qui suit système:

Ici vous pouvez multiplier la deuxième équation pour 3 et de la 1ère équation pour soustraire le 2e. Mais cette chance - en pratique, le système n'est plus souvent pas doué, et dans de tels cas sauve méthode Cramer:
Donc, le système a une solution unique.

Effectuer un chèque. Je comprends que je ne veux pas, mais pourquoi manquez les erreurs où elles ne peuvent pas être absolument manquées? Substituez la solution trouvée à la partie gauche de chaque équation du système:

Les parties appropriées des équations respectives sont obtenues, cela signifie que le système est résolu correctement.

Ainsi, la fonction d'approximation souhaitée: - de toutes les fonctions linéaires Les données expérimentales approchent le mieux.

contrairement à droit Dépendance du chiffre d'affaires du magasin de sa place, la dépendance trouvée est inverse (le principe de «plus le plus - moins»), et ce fait est immédiatement détecté par négatif coefficient angulaire. Une fonction nous dit qu'avec une augmentation d'un certain indicateur sur 1 unité, la valeur de l'indicateur dépendant diminue moyenne0,65 unités. Comme on dit, plus le prix du sarrasin, moins il est vendu.

Pour construire un graphique d'une fonction approximative, nous trouverons deux de ses valeurs:

et faire un dessin:


Ligne bâtie appelée ligne de tendance (nommément - ligne de tendance linéaire, c'est-à-dire dans le cas général, la tendance n'est pas nécessairement une ligne droite). Toutes les expressions familières "soient en tendance" et, je pense que ce terme n'a pas besoin de commentaires supplémentaires.

Calculer la somme des carrés des déviations entre les valeurs empiriques et théoriques. Géométriquement - c'est la somme des carrés de la longueur des segments "framboise" (dont deux sont si petits qu'ils ne sont même pas visibles).

Calculs nous laissons dans la table:


Ils peuvent être faits à nouveau manuellement, juste au cas où je vais apporter un exemple pour le 1er point:

Mais beaucoup plus efficacement de faire une manière connue:

Encore une fois, répétez: quelle est la signification du résultat? De toutes les fonctions linéaires une fonction L'indicateur est le plus petit, c'est-à-dire dans sa famille, c'est la meilleure approximation. Et ici, par la manière dont la dernière question du problème n'est pas accidentelle: que si la fonction exponentielle proposée Sera-t-il préférable d'apporter les points expérimentaux?

Nous trouvons la quantité appropriée des carrés des déviations - pour distinguer, je vais indiquer leur lettre "Epsilon". La technique est exactement la même chose:


Et encore à chaque calcul du feu pour le 1er point:

Dans Excel, nous utilisons la fonctionnalité standard Exp (Syntaxe peut être visualisée dans l'aide exele).

Production:, Par conséquent, la fonction exponentielle apporte les points expérimentaux pires que directs .

Mais il convient de noter que "pire" est ne veut pas dire, ce qui est faux. Maintenant construit un graphique de cette fonction exponentielle - et il passe également près des points - Oui, donc sans étude analytique et il est difficile de dire, quelle fonction est plus précise.

Sur cette décision est terminée et je reviens à la question des valeurs naturelles de l'argument. Dans diverses études, en règle générale, des mois, des années ou d'autres intervalles de temps égaux de «Ices», de «Ices» naturels et sociologiques, naturels. Considérez, par exemple, une telle tâche.

Exemple.

Données expérimentales sur les valeurs variables H. et W. Conduit dans la table.

À la suite de leur alignement, une fonction a été obtenue

Utilisant Méthode la moins carrée, approximate de cette dépendance linéaire de données y \u003d hache + b (Trouvez des paramètres mais et b.). Découvrez laquelle des deux lignes est meilleure (dans le sens de la méthode des moindres carrés) aligne les données expérimentales. Faites un dessin.

L'essence de la méthode des moindres carrés (MNC).

La tâche consiste à trouver les coefficients de la dépendance linéaire dans laquelle la fonction de deux variables mais et b. Prend la plus petite valeur. C'est-à-dire avec des données mais et b. La somme des carrés des écarts des données expérimentales de la ligne directe sera la plus petite. C'est l'essence de la méthode des moindres carrés.

Ainsi, la solution d'exemple se présente pour trouver la fonction extremum de deux variables.

Affiche la formule pour trouver des coefficients.

Un système de deux équations avec deux inconnues est compilé et résolu. Nous trouvons des dérivés privés dans la variable mais et b., assimilez ces dérivés à zéro.

Résoudre le système d'équations résultant par n'importe quel procédé (par exemple pour une méthode de substitution ou) et nous obtenons des formules pour trouver des coefficients utilisant la méthode des moindres carrés (MNC).

Avec des données mais et B. une fonction Prend la plus petite valeur. La preuve de ce fait est donnée.

C'est la méthode entière de moindres carrés. Formule pour trouver un paramètre uNE. contient des quantités, et des paramètres n. - Nombre de données expérimentales. Les valeurs de ces sommes sont recommandées pour calculer séparément. Coefficient b. Situé après le calcul uNE..

Il est temps de se souvenir de l'exemple source.

Décision.

Dans notre exemple N \u003d 5.. Remplissez une table pour la commodité de calcul des quantités incluses dans la formule des coefficients souhaités.

Les valeurs de la quatrième ligne de la table sont obtenues en multipliant les valeurs de la 2e chaîne aux valeurs de la 3ème chaîne pour chaque numéro. JE..

Les valeurs de la cinquième ligne de la table sont obtenues par la construction des 2nd valeurs de chaîne pour chaque numéro. JE..

Les valeurs de la dernière colonne de la table sont les sommes de valeurs par des lignes.

Nous utilisons les formules de la méthode des moindres carrés pour trouver des coefficients mais et b.. Nous substituons les valeurs correspondantes de la dernière colonne de la table:

D'où, y \u003d 0.165x + 2.184 - la ligne droite souhaitée souhaitée.

Il reste à savoir laquelle des lignes y \u003d 0.165x + 2.184 ou alors Il est préférable de se rapprocher des données initiales, c'est-à-dire qu'elle est estimée par la méthode des plus petits carrés.

Évaluation de l'erreur de la méthode des moindres carrés.

Cela nécessite de calculer les sommes des carrés des écarts des données source de ces lignes. et Une valeur plus petite correspond à une ligne meilleure dans le sens de la méthode carrée plus petite se rapproche des données source.

Depuis, alors droit y \u003d 0.165x + 2.184 Mieux apporte les données source.

Illustration graphique de la méthode des moindres carrés (MNC).

Sur les graphiques, tout est parfaitement visible. La ligne rouge est la droite trouvée y \u003d 0.165x + 2.184, la ligne bleue est Les points roses sont les données source.

Qu'est-ce qui est nécessaire pour toutes ces approximations?

Personnellement, j'utilise pour résoudre les problèmes de lissage des données, d'interpolation et d'extrapolation (dans l'exemple initial pourraient demander à trouver la valeur observée y. pour x \u003d 3. ou pour x \u003d 6. Selon la méthode MND). Mais parlons-en plus à ce sujet plus tard dans une autre section du site.

Preuve.

Donc, comme pour trouvé mais et b. La fonction a pris la plus petite valeur, il est nécessaire que, à ce stade, la matrice de la forme quadratique du différentiel de deuxième ordre pour la fonction C'était défini positivement. Montre le.

Le différentiel de second ordre est:

C'est à dire

Par conséquent, la matrice de forme quadratique est

et les valeurs des éléments ne dépendent pas de mais et B..

Nous montrons que la matrice est définie positivement. Pour ce faire, il est nécessaire que les mineurs angulaires soient positifs.

Coin mineur du premier ordre . L'inégalité est stricte, car les points sont incompatibles. À l'avenir, nous voulons dire.

Coin de second ordre mineur

Nous prouvons que méthode d'induction mathématique.

Production: Valeurs trouvées mais et B. correspondre à la plus petite valeur de la fonction Par conséquent, sont les paramètres souhaités pour la méthode des plus petits carrés.

Il est largement utilisé en économétrie sous la forme d'une interprétation économique claire de ses paramètres.

La régression linéaire revient à trouver l'équation de la forme

ou alors

Afficher l'équation permet des valeurs de paramètre spécifiées h.avoir des valeurs théoriques de la fonctionnalité productive, substituant les valeurs réelles du facteur h..

La construction de la régression linéaire est réduite à l'évaluation de ses paramètres - maiset dans.Des estimations des paramètres de la régression linéaire peuvent être trouvées par différentes méthodes.

Une approche classique pour évaluer les paramètres de régression linéaire est basée sur méthode de moindres carrés(MNC).

MNA vous permet d'obtenir de telles estimations de paramètres maiset dans,auquel la somme des carrés des déviations des valeurs réelles de la révolution (Y)du règlement (théorique) mi-Nimalna:

Pour trouver un minimum de fonctions, il est nécessaire de calculer les dérivés de fréquence pour chacun des paramètres. maiset b.et les assimiler à zéro.

Dénote par S, puis:

Conversion de la formule, nous obtenons le système suivant d'équations normales pour évaluer les paramètres mais et dans:

Système de résolution d'équations normales (3.5) ou par le procédé d'exclusion de variables, ou par la méthode de déterminants, nous trouverons les estimations souhaitées des paramètres maiset dans.

Paramètre dans appelé le coefficient de régression. Sa valeur montre la variation moyenne du résultat avec une modification d'un facteur par unité.

L'équation de régression est toujours complétée par un indicateur d'étanchéité de la communication. Lors de l'utilisation de la régression linéaire, un coefficient de corrélation linéaire agit en tant que tel indicateur. Il existe différentes modifications de la formule du coefficient de corrélation linéaire. Certains d'entre eux sont ci-dessous:

Comme on le sait, le coefficient de corrélation linéaire est dans les limites: -1 ≤ ≤ 1.

Pour évaluer la qualité de la sélection de la fonction linéaire, le carré est calculé.

Coefficient de corrélation linéaire appelé le coefficient de détermination.Le coefficient de détermination caractérise la fraction de la dispersion de la productivité y,expliqué par la régression, dans une dispersion générale d'une caractéristique effective:

En conséquence, le montant 1 - caractérise la proportion de DISPERS-C y,causée par l'influence de l'autre non enregistrée dans le modèle de facteurs.

Questions pour la maîtrise de soi

1. L'essence de la méthode carrée la plus petite?

2. Combien de variables sont une régression jumelée?

3. Quel coefficient est l'Accusation de la connexion entre les changements?

4. Quelles limites déterminent le coefficient de détermination?

5. Évaluation du paramètre B dans l'analyse de corrélation et de régression?

1. Christopher Dugger. Introduction à l'économetrie. - M.: Infra - M, 2001 - 402 p.

2. S.A. Borodich. Économétrie. Minsk LLC "Nouvelles connaissances" 2001.

3. r.u. Rakhmetov court cours sur l'économétrie. Didacticiel. Almaty. 2004. -78c.

4. I.I. Eliseeva .Conomique. - M.: "Finances et statistiques", 2002

5. Information mensuelle et journal analytique.

Modèles économiques non linéaires. Modèles de régression non linéaire. Transformation des variables.

Modèles économiques non linéaires ..

Transformation des variables.

Le coefficient d'élasticité.

S'il existe des relations non-neurales entre phénomènes économiques, ils sont exprimés à l'aide des fonctions non linéaires correspondantes: par exemple, l'équilatéral hy-Pebula , parabolas du deuxième degré et de la D.R.

Il y a deux classes de régressions non linéaires:

1. Régression, non linéaire par rapport aux celles incluses dans l'analyse des variables explicatives, mais linéaire selon les paramètres estimés, par exemple:

Polynômes de divers degrés -,;

Hyperbole équilatérale -;

Fonction semestriographique -.

2. Régression, non linéaire sur les paramètres estimés, par exemple:

Pouvoir -;

Indicatif -;

Exponentielle -.

La quantité totale de carrés d'écarts de valeurs individuelles de la fonction de performance w.de la valeur moyenne est causée par l'effet de nombreuses raisons. Divisez de manière conditionnelle l'ensemble des raisons de deux groupes: facteur étudié x.et autres facteurs.

Si le facteur n'affecte pas le résultat, la ligne de régression sur la planification est parallèle à l'axe ohet

Ensuite, toute la dispersion du signe productif est due à l'impact d'autres facteurs et la quantité totale des carrés des écarts coïncidera avec le résiduel. Si d'autres facteurs n'affectent pas le résultat, alors l'huile est connectéede h.fonctionnellement et la somme résiduelle des carrés est zéro. Dans ce cas, la somme des carrés des déviations expliquées par la régression coïncide avec le carré total des carrés.

Étant donné que tous les points du champ de corrélation ne se trouvent pas sur la ligne de régression, il a toujours lieu leur dispersion comme causée par l'influence du facteur h., c'est-à-dire la régression w.par x,donc, causée par l'action d'autres raisons (variation inexplicable). L'adéquation de la ligne de régression pour la prévision dépend de la partie de la variation totale de la fonctionnalité w.considéré par la variation expliquée

Évidemment, si la somme des carrés des déviations causées par la régression sera supérieure à la somme résiduelle des carrés, l'équation de régression est statistiquement significative et facteur h.a un impact significatif sur le résultat toi

, c'est-à-dire avec le nombre de liberté de variation indépendante de la fonctionnalité. Le nombre de degrés de liberté est associé au nombre d'unités de la combinaison de n et avec le nombre de constantes déterminées par elle. En ce qui concerne le problème à l'étude, le nombre de degrés de liberté devrait montrer à quel point les réponses indépendantes de p

L'évaluation de l'importance de l'équation de régression dans son ensemble est donnée avec le pouvoir F.-Criteria Fisher. Dans le même temps, le zéro Hymeter est mis en avant, qui est un coefficient zéro, c'est-à-dire b \u003d.0, et donc un facteur h.n'affecte pas le résultat toi

Le calcul direct du critère F est précédé par l'analyse de la dispersion. L'endroit central occupe la décomposition de la somme totale des carrés des écarts variables w.de la moyenne w.en deux parties - "expliqué" et "inexpliquée":

La quantité totale des carrés des écarts;

La somme des carrés de la déviation expliquée par la régression;

Somme résiduelle des carrés de déviation.

Toute somme des carrés des déviations est associée au nombre de pas à pas , c'est-à-dire avec le nombre de liberté de variation indépendante de la fonctionnalité. Le nombre de degrés de liberté est associé au nombre d'unités d'agrégat n. et avec le nombre de constantes déterminées par elle. En ce qui concerne le problème à l'étude, le nombre de liberté de liberté devrait montrer à quel point une réponse indépendante de ppossible nécessaire pour la formation de la quantité de carrés.

Dispersion d'un degré de libertéRÉ..

Critères F:

Eli zéro hypothèse est juste, puis facteur et dispersion résiduelle ne diffèrent pas des autres. Pour H 0, il est nécessaire de réfutation de manière à ce que la dispersion du facteur dépasse les résiduels plusieurs fois. Statistiques en anglais de Snedacor une fois - Tableaux de travail Valeurs critiques F.- Non-ADR à différents niveaux d'hypothèse zéro et de différents nombres de degrés. Valeur de table F.-Criteria est la quantité maximale de ratio de dispersion, qui peut avoir lieu pour leur divergence pour ce niveau de probabilité d'hypothèse zéro. Calculé F.- La relation est reconnue comme fiable, si plus tabulaire.

Dans ce cas, l'hypothèse zéro sur l'absence de signes de signes est rejetée et conclu sur la matérialité de cette connexion: F BAY\u003e F TableH 0 dévie.

Si la valeur sera moins tabulaire Faire \u003c, F Tab , La probabilité d'hypothèse zéro est supérieure au niveau spécifié et ne peut être rejetée sans risque grave pour faire de la mauvaise conclusion sur la disponibilité de la communication. Dans ce cas, l'équation de régression est considérée comme statistiquement insignifiante. N à propos de ne pas dévier.

Erreur de coefficient de régression standard

Pour évaluer la matérialité du coefficient de régression, elle est comparée à son erreur standard, c'est-à-dire que la valeur réelle est déterminée. t.ÉtudiantCriterie: qui est ensuite comparé à une valeur tabulaire à un certain niveau d'importance et le nombre de degrés de liberté ( n.- 2).

Paramètre d'erreur standard mais:

La signification du coefficient de corrélation linéaire est testée sur la base de la valeur d'erreur coefficient de corrélation t r:

Signe de dispersion générale h.:

La régression linéaire multiple

Modèle de construction

Régression multiple représente la régression d'une caractéristique efficace avec deux et grands facteurs, c'est-à-dire un modèle de l'espèce

La régression peut donner bon résultat Lors de la modélisation, si l'influence d'autres facteurs affectant l'objet de l'étude peut être négligée. Le comportement des variables économiques individuelles ne peut pas être surveillé, c'est-à-dire de garantir l'égalité de toutes les autres conditions d'évaluation de l'influence de celui à l'étude. Dans ce cas, vous devriez essayer d'identifier l'influence d'autres facteurs en les entrant dans le modèle, c'est-à-dire post-rotation de l'équation de régression multiple: y \u003d A + B 1 x 1 + B 2 + ... + B p x p + .

L'objectif principal de la régression multiple est de créer un modèle avec un grand nombre de facteurs, tout en déterminant l'effet de chacun d'eux séparément, ainsi que l'impact cumulatif sur l'indicateur simulé. La spécification du modèle comprend deux cercles de questions: la sélection des facteurs et le choix du type d'équation de régression