3 Régressions affine et exponentielle

3.1 Droite de régression

1. Objectif. La population $\Omega$ est formée de couples $\left( x_{i}, y_{i}\right)$ et on cherche une fonction $y_{prev}$ telle que $\chi ^{2}\doteq \mathrm{E}\left( \left( y_{i}-y_{prev}\left( x_{i}\right) \right) ^{2} \right)$ soit minimal.
2. Modèle constant. Si l'on se demande quelle est la meilleur modèle constant pour $y$, on trouve
   $$\mathrm{E}\left( \left( y_{i}-a\right) ^{2} \right) =\left( a-\ov... ...{y}\right) ^{2}+\mathrm{E}\left( \left( y_{i}-\overline{y}\right) ^{2} \right)$$
   Cette formule montre que la moyenne est le meilleur estimateur constant, le carré de l'erreur quadratique moyenne étant alors minimal (définition de la variance).
3. Définition : covariance. On pose $\mathrm{cov} (x, y)=\mathrm{E}\left( \left( x-\overline{x}\right) \left( y-\overline{y}\right) \right)$.
4. Modèle affine. Si l'on cherche le meilleur modèle affine, on a les formules
   

   $$\mathrm{E}\left( \left( y_{i}-A x_{i}-B\right) ^{2} \right) =\l... ...right) ^{2}+\mathrm{var}\left( x \right) \left( A-a\right) ^{2}+\chi ^{2}_{min}$$ (9)

   $$avec\quad a=\frac{\mathrm{cov} }{\mathrm{var}\left( x \right) }... ...s \left( 1-\frac{\mathrm{cov} ^{2}}{\sigma _{x}^{2} \sigma _{y}^{2}}\right)$$

   
   
   Le meilleur modèle affine passe donc par le point central $\left( \overline{x}, \overline{y}\right)$ et conduit à une division de la variance par le "facteur de réduction de variance" qui vaut

   $$FRV=\frac{1}{1-r^{2}}$$ (10)

   
   

5. Rappel sur le "coefficient de corrélation". On a $-1\leq r\leq +1$ et donc $FRV\geq 1$. Bien entendu, une régression affine est sans intérêt si elle ne conduit pas à une réduction de variance significative par rapport au modèle constant.

3.2 Loi normale à deux variables indépendantes

1. On rappelle que la loi binomiale donne lieu à deux limites remarquables lorsque $n\rightarrow \infty$. Lorsque $n p$ tend vers une limite finie non nulle $\lambda$, la loi de $k$ a pour limite la loi de Poisson de paramètre $\lambda$.
2. Lorsque $\sigma =\sqrt{n p q}\rightarrow \infty$, alors la loi limite de la variable réduite associée à $k$ est la loi de Gauss :
   $$Pr\left( z\in \left[ x, x+ \mathrm{d}x\right] \right) =Cte \exp \left( -\frac{x^{2}}{2}\right) \mathrm{d}x$$

3. La loi normale générale à une variable est :
   $$Pr\left( t\in \left[ x, x+ \mathrm{d}x\right] \right) =\frac{... ...ac{1}{2}\left( \frac{x-\overline{x}}{\sigma }\right) ^{2}\right) \mathrm{d}x$$

4. Lorsque les variables $z_{1}$ et $z_{2}$ sont des variables de Gauss (totalement) indépendantes on a

   $$Pr\left( \left( z_{1}, z_{2}\right) \in \left[ x, x+ \mathr... ...rac{1}{2}\left( z_{1}^{2}+z_{2}^{2}\right) \right) \mathrm{d}x \mathrm{d}y$$ (11)

   
   

3.3 Problème inverse

1. On se donne une fonction du second degré $\phi \left( x, y\right) =A x^{2}+B x y+C y^{2}+D x+E y+F$ et on se demande les conditions à vérifier par les coefficients pour que $\Phi \left( x, y\right) =\exp \phi \left( x, y\right)$ soit une densité de probabilité.
2. Pour commencer $\phi \left( x, y\right)$ doit être un nombre (dépourvu d'unité). Si $x$ est en mètres, $1/A$ doit être en mètres carrés, etc. Alors $\exp \phi$ existe et est positive en tout point.
3. On peut tuer les coefficients $D$ et $E$ par une habile translation. On verra que cela revient à centrer les variables $x$ et $y$. Le coefficient $F$ sera fixé par le fait que la probabilité totale vaut $1$.
4. Pour que $\Phi$ soit une probabilité, il est nécessaire que $\phi$ soit bornée à l'infini. Ceci impose que la forme quadratique $\phi$ soit définie négative. On peut donc poser
   $$\Phi \left( x, y\right) =Cte\times \exp \left( -k \left( \fra... ..., c}+\frac{y^{2}}{c^{2}}\right) \right) \quad ;\quad -1\leq b\leq +1,\: 0\leq k$$
   la condition sur $b$ exprimant le fait que le discriminant de $\phi$ est nécessairement négatif.
5. On voit aisément que les intégrales $\int \int x \phi \left( x, y\right) \mathrm{dx} \mathrm{dy}$ sont nulles.
6. On utilise $\frac{x^{2}}{a^{2}}-2b\frac{x y}{a c}+\frac{y^{2}}{c^{2}}=\left( \frac{x}{a}-b\frac{y}{c}\right) ^{2}+\left( 1-b^{2}\right) y^{2}$ pour effectuer le changement de variable $\frac{x}{a}-b\frac{y}{c}=X$ dans $\int \Phi \mathrm{d}x$. Il vient :
   $$\int _{\mathbb{R}}\Phi \left( x, y\right) \mathrm{d}x=Cte\ti... ...}}\right) \int _{\mathbb{R}}\exp \left( -\frac{k}{2}X^{2}\right) \mathrm{d}X$$
   L'intégrale restante vaut $\sqrt{\frac{2 \pi }{k}}$. Une deuxième intégration, en $y$, conduit à la valeur de la constante :
   $$Cte=\frac{k \sqrt{1-b^{2}}}{2\pi a c}$$

7. Le calcul de l'intégrale $\int \int y^{2} \phi \left( x, y\right) \mathrm{dx} \mathrm{dy}$ commence de la même façon. En tenant compte des résultats précédents, on trouve
   $$\mathrm{E}\left( y^{2} \right) =\frac{c^{2}}{k\left( 1-b^{2}\right) }$$
   Le choix $k=\frac{1}{1-b^{2}}$ se révèle judicieux, car alors la variance de $y$ vaut exactement $c^{2}$. De même $a$ est alors l'écart-type de $x$.
8. Le calcul de l'intégrale $\int \int x y \phi \left( x, y\right) \mathrm{dx} \mathrm{dy}$ donne dès la première étape $\mathrm{E}\left( x y \right) =\frac{a b}{c}\mathrm{E}\left( y^{2} \right)$. On voit donc que $b$ est le coefficient de corrélation entre les deux variables.

3.4 Loi normale à deux variables

1. Définition. Il s'agit de la distribution à deux variables dont la densité de probabilité est donnée par :
   

   $$\Phi \left( x, y\right) =\frac{1}{2\pi a c \sqrt{1-r^{2}... ...\frac{x^{2}}{a^{2}}-2r \frac{x y}{a c}+\frac{y^{2}}{c^{2}}\right) \right)$$

   $$a=\mathrm{var}\left( x \right) \; ;\; c=\mathrm{var}\left( y \right) \; ;\; r= coefficient\: de\: correlation$$

   
   

2. Courbes de niveau. Les courbes d'égale probabilité, définies par $\Phi \left( x,y\right) =cte$, sont des ellipses, centrées en $\left( 0, 0\right)$.