Erreur quadratique moyenne

En statistiques, l’erreur quadratique moyenne (ou plus souvent l’erreur quadratique, moyenne étant sous-entendu), appelée aussi risque quadratique^[1], pour un paramètre $θ$ de dimension 1, que nous noterons MSE (pour Mean Squared Error), est définie par:

Définition — $\operatorname{MSE}(\hat{\theta}|\theta)\equiv\mathbb{E}\left((\hat{\theta}-\theta)^2\right).$

avec $\hat{\theta}$ l’estimateur du paramètre $θ$ .

Sommaire

1 Utilité
- 1.1 Comparaison d'estimateurs
- 1.2 Convergence de l'estimateur
2 Généralisation
3 Références
4 Voir aussi

Utilité

Comparaison d'estimateurs

L'erreur quadratique moyenne est très utile pour comparer plusieurs estimateurs, notamment lorsque l'un d'eux est biaisé. Si les deux estimateurs à comparer sont sans biais, l'estimateur le plus efficace est simplement celui qui a la variance la plus petite. On peut effectivement exprimer l'erreur quadratique moyenne en fonction du biais de l'estimateur $\mathbb{E}(\hat{\theta} - \theta)$ ainsi que sa variance:

Théorème — $\operatorname{MSE}(\hat{\theta}|\theta)=\operatorname{Biais}(\hat{\theta})^2 + \operatorname{Var} (\hat{\theta})$

Démonstration

$\begin{align}\operatorname{MSE}(\hat{\theta})\equiv \mathbb{E}((\hat{\theta}-\theta)^2)&= \mathbb{E}\left[\left(\hat{\theta}-\mathbb{E}(\hat\theta)+\mathbb{E}(\hat\theta)-\theta\right)^2\right] \\ & = \mathbb{E}\left[\left(\hat{\theta}-\mathbb{E}(\hat\theta)\right)^2 +2\left((\hat{\theta}-\mathbb{E}(\hat\theta))(\mathbb{E}(\hat\theta)-\theta)\right)+\left( \mathbb{E}(\hat\theta)-\theta \right)^2\right] \\ & = \mathbb{E}\left(\left(\hat{\theta}-\mathbb{E}(\hat\theta)\right)^2\right)+2\mathbb{E}\left((\hat{\theta}-\mathbb{E}(\hat\theta))(\mathbb{E}(\hat\theta)-\theta)\right)+\mathbb{E}\left(\left(\mathbb{E}(\hat\theta)-\theta\right)^2\right) \\ & = \mathbb{E}\left(\left(\hat{\theta}-\mathbb{E}(\hat\theta)\right)^2\right)+2(\mathbb{E}(\hat\theta)-\theta)\overbrace{\mathbb{E}(\hat{\theta}-\mathbb{E}(\hat\theta))}^{=\mathbb{E}(\hat\theta)-\mathbb{E}(\hat\theta)=0}+\mathbb{E}\left(\left(\mathbb{E}(\hat\theta)-\theta\right)^2\right) \\ & = \mathbb{E}\left(\left(\hat{\theta}-\mathbb{E}(\hat\theta)\right)^2\right)+\mathbb{E}\left(\left(\mathbb{E}(\hat\theta)-\theta\right)^2\right) \\ & = \operatorname{Var}(\hat\theta)+ \operatorname{Biais}(\hat\theta)^2 \end{align}$

En faisant intervenir le biais et la variance, l'erreur quadratique moyenne permet donc de trancher dans une situation où il existe un estimateur sans biais et un autre biaisé mais de variance plus petite.

Exemple :

Comparons les deux estimateurs de la variance:

$s_n^2 \equiv \frac 1n \sum_{i=1}^n \left(y_i - \overline{y} \right)^ 2\text{ et } s^2_{n-1} \equiv \frac{1}{n-1} \sum_{i=1}^n\left(y_i - \overline{y} \right)^ 2$

Pour une distribution gaussienne, des calculs montrent que (voir Greene 2005, p. 861):

$\operatorname{E}[s_{n-1}^2]=\sigma^2$

$\operatorname{Var}[s_{n-1}^2]=\frac{2\sigma^4}{n-1}$

$\operatorname{E}[s_n^2]=\frac{(n-1)\sigma^2}{n}$

$\operatorname{Var}[s_{n}^2]=\left[\frac{n-1}{n}\right]^2\left[\frac{2\sigma^4}{n-1}\right]$

L'estimateur $s^2_{n-1}$ est sans biais mais a une plus forte variance que l'estimateur $s^2_{n}$ .

La comparaison des erreurs quadratiques moyennes (MSE) donne:

$\operatorname{MSE}(s^2_{n}|\sigma^2)-\operatorname{MSE}(s^2_{n-1}|\sigma^2)=\sigma^4\left[\frac{2n-1}{n^2}-\frac{2}{n-1}\right]<0$

Et l'estimateur biaisé $s^2_{n}$ est donc plus précis en termes d'erreur quadratique moyenne. L'estimateur $s^2_{n+1}$ , où on divise par $n + 1$ , est (encore pour le cas gaussien) le meilleur de tous en termes d'erreur quadratique moyenne.

Convergence de l'estimateur

Il est possible de déterminer si un estimateur est convergent en probabilité à partir de son erreur quadratique moyenne, on a en effet:

Théorème — $\left\{\lim_{n \to \infty} \operatorname{E}[\hat\theta] =\theta \quad \mathbf{ et } \quad \lim_{n \to \infty}\operatorname{Var}[\hat\theta]= 0 \right\} \Leftrightarrow \lim_{n \to \infty}\operatorname{MSE}(\hat\theta|\theta) =0 \Rightarrow \hat\theta \xrightarrow{p} \theta$

La démonstration est faite à la page convergence de variables aléatoires.

Généralisation

Dans un cadre plus général pour un modèle multiparamétrique où l'on cherche à estimer plusieurs paramètres ou pour estimer une fonction $f (θ)$ de un ou plusieurs paramètres, l'erreur quadratique moyenne pour un estimateur $δ$ de $f (θ)$ est défini par:

Définition — $\mathbb{E}( ^t(\delta-f(\theta)) A (\delta-f(\theta))$

où A est une matrice symétrique définie positive (qui définit donc un produit scalaire).

Références

↑ http://www-fourier.ujf-grenoble.fr/~dpiau/capes06/F6.pdf

(en) William H Greene, Econométrie, Paris, Pearson Education, 2005, 5e éd^e éd. (ISBN 978-2-7440-7097-6), p. 2

Voir aussi

Portail des probabilités et des statistiques

Catégorie :

Estimation (statistique)

Wikimedia Foundation. 2010.

Contenu soumis à la licence CC-BY-SA. Source : Article Erreur quadratique moyenne de Wikipédia en français (auteurs)

Игры ⚽ Нужно решить контрольную?

Regardez d'autres dictionnaires:

Erreur Quadratique Moyenne — En statistiques, l’erreur quadratique moyenne (ou plus souvent l’erreur quadratique, moyenne étant sous entendu) pour un paramètre θ de dimension 1, que nous noterons MSE (pour Mean Squared Error), est définie par: Définition ave … Wikipédia en Français
erreur quadratique moyenne — vidutinė kvadratinė paklaida statusas T sritis automatika atitikmenys: angl. mean square error vok. mittlerer quadratischer Fehler, m rus. среднеквадратичная ошибка, f pranc. écart quadratique moyen, m; erreur quadratique moyenne, f … Automatikos terminų žodynas
erreur quadratique moyenne — vidutinė kvadratinė paklaida statusas T sritis fizika atitikmenys: angl. mean square error; root mean square error vok. mittlerer quadratischer Fehler, m rus. среднеквадратическая погрешность, f pranc. erreur quadratique moyenne, f … Fizikos terminų žodynas
Erreur moyenne quadratique — Erreur quadratique moyenne En statistiques, l’erreur quadratique moyenne (ou plus souvent l’erreur quadratique, moyenne étant sous entendu) pour un paramètre θ de dimension 1, que nous noterons MSE (pour Mean Squared Error), est définie par:… … Wikipédia en Français
Erreur de quantification — Quantification (signal) Pour les articles homonymes, voir quantification. En traitement du signal, la quantification est le procédé qui permet d approximer un signal continu (ou à valeurs dans un ensemble discret de grande taille) par des valeurs … Wikipédia en Français
Erreur-type (Statistiques) — L erreur type est l écart type estimé de l erreur de cette estimation. C est donc une estimation de l écart type entre les valeurs mesurées ou estimées (d une distribution d échantillonnage) et les vraies valeurs. L erreur type est l écart type… … Wikipédia en Français
Erreur type de l'estimation — Erreur type (Statistiques) L erreur type est l écart type estimé de l erreur de cette estimation. C est donc une estimation de l écart type entre les valeurs mesurées ou estimées (d une distribution d échantillonnage) et les vraies valeurs. L… … Wikipédia en Français
écart quadratique moyen — vidutinė kvadratinė paklaida statusas T sritis automatika atitikmenys: angl. mean square error vok. mittlerer quadratischer Fehler, m rus. среднеквадратичная ошибка, f pranc. écart quadratique moyen, m; erreur quadratique moyenne, f … Automatikos terminų žodynas
erreur moyenne quadratique — standartinė paklaida statusas T sritis Standartizacija ir metrologija apibrėžtis Standartinis įverčio nuokrypis. atitikmenys: angl. standard error vok. mittlerer quadratischer Fehler, m rus. среднеквадратическая погрешность, f pranc. erreur… … Penkiakalbis aiškinamasis metrologijos terminų žodynas
erreur moyenne quadratique — standartinė paklaida statusas T sritis fizika atitikmenys: angl. standard error vok. mittlerer quadratischer Fehler, m rus. среднеквадратическая погрешность, f pranc. erreur moyenne quadratique, f; erreur type, f … Fizikos terminų žodynas

Dictionnaires et Encyclopédies sur 'Academic'

Erreur quadratique moyenne

Sommaire