Inégalité de cramér-rao

Inégalité de cramér-rao

Borne FDCR

En statistique, la borne FDCR (autrement appelée inégalité de Cramér-Rao), appelée ainsi en l'honneur de Fréchet, Darmois, Cramer et Rao, exprime une borne inférieure sur la variance d'un estimateur sans biais, basée sur l'Information de Fisher.

Elle énonce que l'inverse de l'information de Fisher, \mathcal{I}(\theta), d'un paramètre θ, est une borne inférieure de la variance d'un estimateur sans biais de ce paramètre. (noté \widehat{\theta}).


\mathrm{var} \left(\widehat{\theta}\right)
\geq
\frac{1}{\mathcal{I}(\theta)}
=
\frac{1}
{
 \mathrm{E}
 \left[
  \left[
   \frac{\partial}{\partial \theta} \log f(X;\theta)
  \right]^2
 \right]
}

Dans certains cas, aucun estimateur non biaisé n'atteint la borne inférieure.

Exemple

Supposons que X est une variable aléatoire qui suit une loi normale d' espérance connue μ et de variance inconnue σ2. Considérons T l'estimateur de σ2:


T=\frac{\sum_{i=1}^n\left(X_i-\mu\right)^2}{n}.

Alors T est non biaisé pour σ2, car E(T) = σ2. Quelle est la variance de T?


\mathrm{Var}(T) = \frac{\mathrm{var}(X-\mu)^2}{n}=\frac{1}{n}
\left[
E\left\{(X-\mu)^4\right\}-\left(E\left\{(X-\mu)^2\right\}\right)^2
\right]

Le premier terme est le quatrième moment central et vaut 3(σ2)2; le second est le carré de la variance, soit 2)2. Donc

\mathrm{var}(T)=\frac{2(\sigma^2)^2}{n}.

Quelle est l'information de Fisher de cet exemple ? Le score V est défini par


V=\frac{\partial}{\partial\sigma^2}\log L(\sigma^2,X)

avec L étant la Fonction de vraisemblance. Donc, dans ce cas,


V=\frac{\partial}{\partial\sigma^2}\log\left[\frac{1}{\sqrt{2\pi\sigma^2}}e^{-(X-\mu)^2/{2\sigma^2}}\right]
=\frac{(X-\mu)^2}{2(\sigma^2)^2}-\frac{1}{2\sigma^2}

L'information de nn évènement indépendant étant seulement n fois l'information d'un seul évènement, soit \frac{n}{2(\sigma^2)^2}.

L'Inégalité de Cramér-Rao donne :


\mathrm{var}(T)\geq\frac{1}{I}.

Dans ce cas, on a donc égalité, ce qui montre que l'estimateur est efficace.

Conditions de régularité

Cette inégalité repose sur 2 conditions faibles de régularité des densité de probabilité, f(x;θ), et l'estimateur T(X):

  • L'information de Fisher est toujours définie; de manière équivalente, pour tout x tel que f(x;θ) > 0,
 \frac{\partial}{\partial\theta} \ln f(x;\theta)
soit fini.
  • L'intégration par rapport à x et la différentiation par rapport à θ peuvent être échangé dans le calcul de T; soit encore,

 \frac{\partial}{\partial\theta}
 \left[
  \int T(x) f(x;\theta) \,dx
 \right]
 =
 \int T(x)
  \left[
   \frac{\partial}{\partial\theta} f(x;\theta)
  \right]
 \,dx
si le second membre est fini.

Dans certains cas, un estimateur biaisé peut avoir une variance et une erreur quadratique moyenne en dessous de la borne de Cramér-Rao (cette borne ne s'appliquant que pour les estimateurs non biaisés).

Si la régularité permet d'atteindre la dérivée seconde, alors l'information de Fisher peut se mettre sous une autre forme, et l'inégalité de Cramér-Rao donne:


\mathrm{var} \left(\widehat{\theta}\right)
\geq
\frac{1}{\mathcal{I}(\theta)}
=
\frac{1}
{
 -\mathrm{E}
 \left[
  \frac{d^2}{d\theta^2} \log f(X;\theta)
 \right]
}
  • Portail des probabilités et des statistiques Portail des probabilités et des statistiques
Ce document provient de « Borne FDCR ».

Wikimedia Foundation. 2010.

Contenu soumis à la licence CC-BY-SA. Source : Article Inégalité de cramér-rao de Wikipédia en français (auteurs)

Игры ⚽ Поможем сделать НИР

Regardez d'autres dictionnaires:

  • Inegalite de Cramer-Rao — Borne FDCR En statistique, la borne FDCR (autrement appelée inégalité de Cramér Rao), appelée ainsi en l honneur de Fréchet, Darmois, Cramer et Rao, exprime une borne inférieure sur la variance d un estimateur sans biais, basée sur l Information… …   Wikipédia en Français

  • Inégalité de Cramér-Rao — Borne FDCR En statistique, la borne FDCR (autrement appelée inégalité de Cramér Rao), appelée ainsi en l honneur de Fréchet, Darmois, Cramer et Rao, exprime une borne inférieure sur la variance d un estimateur sans biais, basée sur l Information… …   Wikipédia en Français

  • C. R. Rao — Calyampudi Radhakrishna Rao Calyampudi Radhakrishna Rao est un célèbre statisticien indien, né en septembre 1920. Il est actuellement professeur émérite à l Université de Penn. Il est né à Hadagali dans l état de Karnataka. Il possède une… …   Wikipédia en Français

  • Calyampudi Radhakrishna Rao — est un célèbre statisticien indien, né en septembre 1920. Il est actuellement professeur émérite à l Université de Penn. Il est né à Hadagali dans l État de Karnataka. Il possède une maîtrise en mathématiques de l Université Andhra, et une… …   Wikipédia en Français

  • Borne FDCR — Pour les articles homonymes, voir Borne. En statistique, la borne FDCR (autrement appelée inégalité de Cramér Rao), appelée ainsi en l honneur de Fréchet, Darmois, Cramér et Rao, exprime une borne inférieure sur la variance d un estimateur sans… …   Wikipédia en Français

  • Inequalities in information theory — Inequalities are very important in the study of information theory. There are a number of different contexts in which these inequalities appear.hannon type inequalitiesConsider a finite collection of finitely (or at most countably) supported… …   Wikipedia

  • Projet:Mathématiques/Liste des articles de mathématiques — Cette page n est plus mise à jour depuis l arrêt de DumZiBoT. Pour demander sa remise en service, faire une requête sur WP:RBOT Cette page recense les articles relatifs aux mathématiques, qui sont liés aux portails de mathématiques, géométrie ou… …   Wikipédia en Français

  • Liste des articles de mathematiques — Projet:Mathématiques/Liste des articles de mathématiques Cette page recense les articles relatifs aux mathématiques, qui sont liés aux portails de mathématiques, géométrie ou probabilités et statistiques via l un des trois bandeaux suivants  …   Wikipédia en Français

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”