1.3 Méthode des moindres carrés

1.3.1 Résolution exacte d'une équation affine

Definition 1.3.1   Une équation linéaire est une équation dont l'ensemble des solutions est stable par combinaisons linéaires (i.e. forme un espace vectoriel).

Example 1.3.2   L'équation $3x+2y=0$ est une équation linéaire. En effet, l'ensemble de ses solutions est $\Delta\doteq\left\{ \left(-2t,\,3t\right)\mid t\in\mathbb{C}\right\}$ qui est une droite vectorielle.

Definition 1.3.3   Une équation affine est une équation dont l'ensemble des solutions est stable par combinaisons barycentriques (i.e. forme un espace affine).

Example 1.3.4   L'équation $3x+2y=1$ est une équation affine. En effet, l'ensemble de ses solutions est $\Delta\doteq\left\{ \left(1-2t,\,-1+3t\right)\mid t\in\mathbb{C}\right\}$ qui est une droite affine. On vérifie que $m,\, n\in\Delta$ implique $\mu m+\left(1-\mu\right)n\in\Delta$.

Remark 1.3.5   Parler "d'équation sans second membre" est exactement aussi stupide que parler d'équation sans signe égal.

Scilab 1.3.6   On rappelle que a=b sert à coder une affectation (on range dans la boite nommée a le résultat de l'évaluation de b) et que a==b sert à coder un test (tout comme a<=b, a~=b, etc). Scilab n'étant pas un logiciel de calcul formel, il n'y a aucun moyen de coder une équation en tant que telle.

Maple 1.3.7   On rappelle que a:=b sert à coder une affectation (on range dans la boite nommée a le résultat de l'évaluation de b) et que a=b sert à coder une substitution (subs, changevar, etc). La bonne façon de coder l'équation $a=b$ est eq:= b-a.

Proposition 1.3.8   Un système d'équations affines comme

$$\left\{ \begin{array}{ccc} 3y+2z & = & 1\\ 2y+z & = & 2\end{array}\right.$$

peut s'écrire sous forme matricielle, c'est à dire :

$$A.x=b\qquad avec\quad A=\left(\begin{array}{cc} 3 & 2\\ 2 & 1\en... ...} y\\ z\end{array}\right),\, b=\left(\begin{array}{c} 1\\ 2\end{array}\right)$$

Vouloir qu'il y ait existence et unicité de la solution $f$ est équivalent à l'inversibilité de la matrice $A$ (système de Cramer).

Remark 1.3.9   La notation $f$ pour le vecteur inconnu est liée au fait que, par la suite, nous chercherons à caractériser une fonction inconnue en tant que forme linéaire.

Scilab 1.3.10   Rappelons qu'il n'y a pas de distinction matrice/vecteur dans Scilab, mais seulement des matrices dont les éléments sont accessibles à la fois "matriciellement" et "vectoriellement". Ainsi mm=[11,12,13;21,22,23], [li,co]=size(mm) donne :

$$mm\:\triangleleft\,\begin{array}{ccc} 11 & 12 & 13\\ 21 & 22 & 23\end{array},\quad li\:\triangleleft\,2,\quad co\:\triangleleft\,3$$

Exercise 1.3.11   Donner la formule liant les $i,\, j,\, k$ tels que mm(j,k) et mm(i) accèdent au même élément de la matrice mm.

Maple 1.3.12   Dans ce module nous utilisons les matrices "nouvelle version", soit :
with(LinearAlgebra) ; 
ma:= Matrix([[3,2],[2,1]]); mf:= Vector([y,z]); ... 
mf = (1/ma).mb ;

1.3.2 Systèmes surdéterminés

Remark 1.3.13   Un système surdéterminé est un système où il y a plus d'équations que d'inconnues. Dans ce cas, il faut s'attendre à ce que l'équation $A.f=b$ soit impossible. Lorsque le système est obtenu par un ensemble de mesures expérimentales, il est indispensable de tenir compte des incertitudes et la sémantique du problème est alors d'obtenir le meilleur ajustement pour $A.f\approx b$.

Example 1.3.14   Le système $3y+2z=1,\,2y+z=2,\, y+z=1$ est impossible. En effet les deux premières équations ont pour solution $y=3,\, z=-4$. En reportant dans la troisième équation, on obtient $-1=+1$. Par contre, on peut chercher à résoudre 

$$\left\{ \begin{array}{ccc} 3y+2z & \approx & 1\\ 2y+z & \approx ... ...& 1\end{array}\right),\; B=\left(\begin{array}{c} 1\\ 2\\ 1\end{array}\right)$$

Definition 1.3.15   La méthode des moindres carrés consiste à définir $V\approx\overrightarrow{0}$ par le fait que le Pythagore de $V$ (la somme des carrés des coordonnées) soit minimal.

Scilab 1.3.16   La somme des carrés des coordonnées d'un vecteur colonne V s'obtient en faisant le produit scalaire ligne par colonne, autrement dit:
deff('c=Pythagore(a)', 'c= a''*a')

Maple 1.3.17   La somme des carrés des coordonnées d'un vecteur colonne V s'obtient en faisant le produit scalaire ligne par colonne, autrement dit:
Pythagore:= v -> Transpose(v).v ;

Theorem 1.3.18 (Moindres carrés)   L'équation aux moindres carrés associée à $A.x\approx b$ est : $\raisebox{0.5 em}{\normalfont\textsf{t}}{A}\, .\, A\, .\, f^{*}=\raisebox{0.5 em}{\normalfont\textsf{t}}{A}\, .\, b$ dont la solution est :

$$f^{*}=S^{-1}\, .\, \left(\raisebox{0.5 em}{\normalfont\textsf{t}}... ...d\mathrm{where}\quad S\doteq\raisebox{0.5 em}{\normalfont\textsf{t}}{A}\, .\, A$$ (1.1)

Preuve. L'objectif est de trouver la valeur $f^{*}$ qui minimise la somme des carrés des coordonnées de $A\, .\, f-b$. On pose :

$$\chi^{2}\left(f\right) \doteq \frac{1}{n}\,\raisebox{0.5 em}{\normalfont\textsf{t}}{}\left(A\, .\, f-b\right)\, .\, \left(A\, .\, f-b\right)$$ (1.2)

$$f^{*} = \arg\,\min\,\chi^{2}\left(f\right)$$

En développant et en utilisant que le scalaire $\raisebox{0.5 em}{\normalfont\textsf{t}}{b}\, .\, A\, .\, f$ est égal à sa transposée, il vient :

$$n\,\chi^{2}\left(f\right) \doteq\raisebox{0.5 em}{\normalfont\textsf{t}}{f}\, .\, \raisebox... ...x{0.5 em}{\normalfont\textsf{t}}{b}\, .\, A\, .\, f+\left\vert b\right\vert^{2}$$

$$n\left(\chi^{2}\left(f+\delta f\right)-\chi^{2}\left(f\right)\right) =2\,\raisebox{0.5 em}{\normalfont\textsf{t}}{\delta} f\, .\, \rai... ...m}{\normalfont\textsf{t}}{A}\, .\, b+\left\vert A\, .\, \delta f\right\vert^{2}$$

$$n\,\delta\chi^{2} =2\,\raisebox{0.5 em}{\normalfont\textsf{t}}{\delta} f\, .\, \lef... ...textsf{t}}{A}\, .\, b\right)+\left\vert A\, .\, \delta f\right\vert^{2}\qedhere$$

$\qedsymbol$

Remark 1.3.19   Pour un système simplement déterminé, la relation $A\, .\, f=b$ implique évidemment que $\raisebox{0.5 em}{\normalfont\textsf{t}}{A}\, .\, A\, .\, f=\raisebox{0.5 em}{\normalfont\textsf{t}}{A}\, .\, b$. Le contenu du théorème précédent est de permettre la transformation d'une approximation ( $A\, .\, f\approx b$) en une équation.

1.3.3 Mesure de la qualité d'un modèle

Definition 1.3.20   La valeur minimale de $\chi^{2}$ s'appelle variance résiduelle expérimentale. On la note aussi $s_{res}^{2}$. C'est la valeur moyenne du carré de l'écart entre les valeurs effectivement mesurées et les valeurs prédites par le modèle pour ces mêmes essais. En appelant $s^{2}$ la variance expérimentale des valeurs $b_{i}$, on définit le facteur expérimental de réduction de variance comme étant le quotient :

$$\mathrm{FRV}_{exp}\doteq\frac{s^{2}}{s_{res}^{2}}$$

Proposition 1.3.21   Pour tout système, on a $\mathrm{FRV}_{exp}\geq1$.

Example 1.3.22   Ici, la matrice $\raisebox{0.5 em}{\normalfont\textsf{t}}{A}\, .\, A$ est une matrice $12\times12$ inversible, et l'on obtient :

$$\raisebox{0.5 em}{\normalfont\textsf{t}}{x}^{*}=\left(55.52,\quad... ...96,\quad-1.42,\,+1.33,\quad4.31,\,-3.69,\,-4.69,\quad2.81,\,-0.94,\,0.56\right)$$

La valeur cible (température) varie entre $42°C$ et $66°C$, avec un écart-type de $6°C$ ( $\sigma^{2}\approx36.12$). Les écarts entre les valeurs expérimentales et les valeurs recalculées à l'aide du modèle vont de $-3$ à $+3$ avec un écart-type de $1.6°C$ ( $\sigma_{res}^{2}\approx2.64$). Le $\mathrm{FRV}$ vaut donc $13.68$ (ce qui est très bon), conduisant grosso modo à diviser par $4$ à la fois l'amplitude et l'écart-type. L'épaisseur du modèle se voit sur la FIG. 1.3, où sont portés les couples (exper, theor-exper).

FIG. 1.3: Écarts résiduels.

Scilab 1.3.23   La commande size donne les deux dimensions d'une matrice. Les modificateurs c, r, * permettent d'obtenir le nombre de colonnes, le nombre de lignes ou bien le nombre total d'éléments de la matrice. Pour un vecteur $V$ de moyenne nulle (plan équilibré), la variance de $V$ s'obtient par : V'*V / size(V, '*').

Scilab 1.3.24   La commande variance ne donne pas la variance, mais le prédicteur de variance globale issu d'un échantillon.

Remark 1.3.25   La méthode des moindres carrés est sensible aux "valeurs aberrantes" : lorsqu'une expérience donne un résultat s'écartant notablement du modèle, il convient de refaire cette expérience de façon à ou bien éliminer une erreur expérimentale, ou bien confirmer que cette expérience apporte une information significative.

Remark 1.3.26   Il est toujours possible de bricoler un modèle de façon à le faire passer exactement par l'ensemble des points expérimentaux, amenant le $\mathrm{FRV}_{exp}$ à une valeur "trop belle pour être vraie". En procédant ainsi, on obtient presque toujours un modèle fortement instable (oscillant), donnant des prédictions aberrantes pour les points de $\Omega\setminus\omega$. Or la sémantique du calcul entrepris est de minimiser l'erreur de modèle non pas sur $\omega$ mais précisément sur $\Omega$ tout entier.

Definition 1.3.27   On appelle $\mathrm{FRV}$ théorique le quotient de nos meilleurs estimateurs $S^{2}$ et $S_{res}^{2}$ des quantités $s^{2}$ et $s_{res}^{2}$ qui seraient issues d'un plan complet :

$$\mathrm{FRV}_{th}\doteq\frac{S^{2}}{S_{res}^{2}}$$

Proposition 1.3.28   Si les écarts $T_{th}-T$ sont aléatoires et identiquement distribués, ce quotient vaut :

$$\mathrm{FRV}_{th}=\frac{s^{2}\times n/\left(n-1\right)}{s_{res}^{2}\times n/\left(n-p\right)}=\mathrm{FRV}_{exp}\times\frac{n-p}{n-1}$$

où $n,\, p$ sont les dimensions de la matrice $A$ (nombre d'essais et nombre de coefficients).

Preuve. La démonstration du facteur $n-1$ est dans le cours de probabilités (échantillonage) http://www.douillet.info/~douillet/cours/thypo/thypo.html. Celle du facteur $n-p$ s'obtient de même, par décomposition de $\chi^{2}$ en sommes de carrés. $\qedsymbol$

Remark 1.3.29   L'espérance d'un quotient n'est pas le quotient des espérances, et la formule ci-dessus peut conduire à des valeurs inférieures à $1$ pour l'estimation du $\mathrm{FRV}$ global. Il n'en reste pas moins que : si l'on utilise $n$ essais pour un modèle à $n$ paramètres concernant une population de grande taille, la confiance à apporter au modèle obtenu est nulle.