Maximum de vraisemblance

Maximum de vraisemblance

L'estimation du maximum de vraisemblance est une méthode statistique courante utilisée pour inférer les paramètres de la distribution de probabilité d'un échantillon donné.

Cette méthode a été développée par le statisticien et généticien Ronald Fisher entre 1912 et 1922.

L'estimateur du maximum de vraisemblance peut exister et être unique, ne pas être unique, ou ne pas exister.

Sommaire

Définitions

Soit X une variable aléatoire réelle, de loi ou bien discrète ou bien continue, dont on veut estimer un paramètre θ. On note \mathcal{D}_\theta cette famille de lois paramétriques. Alors on définit une fonction f telle que : 
f(x;\theta) = \begin{cases} f_\theta(x) & \text{si X est une v.a. continue} \\ P_\theta(X=x) & \text{si X est une v.a. discrete} \end{cases}

fθ(x) représente la densité de X (où θ apparaît) et Pθ(X = x) représente une probabilité discrète (où θ apparaît).

On appelle vraisemblance de θ au vu des observations (x1,...,xi,...,xn) d'un n-échantillon indépendamment et identiquement distribué selon la loi \mathcal{D}_\theta, le nombre :

L(x_1,...,x_i,...,x_n;\theta) = f(x_1;\theta) \times f(x_2;\theta) \times ...\times f(x_n;\theta) = \prod_{i=1}^n f(x_i;\theta)

On cherche à trouver le maximum de cette vraisemblance pour que les probabilités des réalisations observées soient aussi maximum. Ceci est un problème d'optimisation. On utilise généralement le fait que si L est dérivable (ce qui n'est pas toujours le cas) et si L admet un maximum global en une valeur \theta = \hat \theta, alors la dérivée première s'annule en \theta = \hat \theta et que la dérivée seconde est négative. Réciproquement, si la dérivée première s'annule en \theta = \hat \theta et que la dérivée seconde est négative en \theta = \hat \theta, alors \theta = \hat \theta est un maximum local (et non global) de L(x1,...,xi,...,xn;θ). Il est alors nécessaire de vérifier qu'il s'agit bien d'un maximum global. La vraisemblance étant positive et le logarithme népérien une fonction croissante, il est équivalent et souvent plus simple de maximiser le logarithme népérien de la vraisemblance (le produit se transforme en somme, ce qui est plus simple à dériver). On peut facilement construire la statistique Yn = Θ qui est l'estimateur voulu.

Ainsi en pratique :

  • La condition nécessaire
\frac{\partial L(x_1,...,x_i,...,x_n;\theta)}{\partial \theta} = 0

ou

  \frac{\partial \ln L(x_1,...,x_i,...,x_n;\theta)}{\partial \theta} = 0

permet de trouver la valeur \theta = \hat \theta.

  • \theta = \hat \theta est un maximum local si la condition suffisante est remplie au point critique \theta = \hat \theta :
\frac{\partial^2 L(x_1,...,x_i,...,x_n;\theta)}{\partial \theta^2} \le 0

ou

  \frac{\partial^2 \ln L(x_1,...,x_i,...,x_n;\theta)}{\partial \theta^2} \le 0

Pour simplifier, dans les cas de lois continues, où parfois la densité de probabilité est nulle sur un certain intervalle, on peut omettre d'écrire la vraisemblance pour cet intervalle uniquement.

Généralisation

Pour une variable aléatoire réelle X de loi quelconque définie par une fonction de répartition F(x), on peut considérer des petits voisinages V autour de (x1,..., xn) dans \mathbb{R}^n, par exemple une boule de rayon ε. On obtient ainsi une fonction de vraisemblance L(\theta; V) = P[(X_{1,\theta}, ..., X_{n,\theta}) \in V] dont on cherche un maximum \theta = \hat \theta(V). On fait ensuite tendre la taille de V vers 0 dans \hat \theta(V) pour obtenir l'estimateur \hat \theta de maximum de vraisemblance.

On retombe sur les fonctions de vraisemblance précédentes quand X est à loi discrète ou continue.

Propriétés

L'estimateur obtenu par la méthode du maximum de vraisemblance est :

Exemples

Avec une loi discrète

On souhaite estimer le paramètre λ d'une loi de Poisson à partir d'un n-échantillon.

f(x,\lambda) = P_\lambda(X=x) = e^{-\lambda} \frac{\lambda^x}{x!}

L'estimateur du maximum de vraisemblance est : \hat {\lambda}_{ML}= \bar x

Avec une loi continue

Loi exponentielle

On souhaite estimer le paramètre α d'une loi exponentielle à partir d'un n-échantillon.

f(x,\alpha) = f_\alpha(x) = \begin{cases} \alpha e^{-\alpha x} & \text{si} \quad x \ge 0 \\ 0 & \text{sinon} \end{cases}

L'estimateur du maximum de vraisemblance est : \hat {\alpha}_{ML}= \frac{1}{\bar x}

Loi normale

L'estimateur du maximum de vraisemblance de l'espérance μ et la variance σ2 d'une loi normale est:

   \hat{\mu}_{ML} = \bar{x} = \frac{1}{n}\sum^{n}_{i=1}x_i

   \widehat{\sigma}^2_{ML} = \frac{1}{n}\sum_{i=1}^n(x_i-\bar{x})^2

L'estimateur de la variance est un bon exemple pour montrer que le maximum de vraisemblance peut fournir des estimateurs biaisés : un estimateur sans biais est donné en effet par:    \widehat\sigma^2 = \frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2. Néanmoins, asymptotiquement, quand n tend vers l'infini, ce biais, qui est de  \frac{n}{n-1}, tend vers 1 et l'estimateur est alors asymptotiquement sans biais.

Si la dérivée ne peut pas être utilisée

Représentation graphique de la vraisemblance d'un n-échantillon d'une loi uniforme.

On souhaite estimer le paramètre a d'une loi uniforme à partir d'un n-échantillon.

f(x,a) = f_a(x) = \begin{cases} \frac {1}{a} & \text{si} \quad x \in [0;a] \\ 0 & \text{sinon} \end{cases}

La vraisemblance s'écrit :

L(x_1,...,x_i,...,x_n;a) = \prod_{i=1}^n f_a(x_i) = \begin{cases} 0             & \text{si} \quad a < \max(x_1,\ldots,x_n) \\ 
                                             \frac {1}{a^n} & \text{si} \quad a \geq \max(x_1,\ldots,x_n) \end{cases}

Cette fonction n'est pas dérivable en \max(x_1,\ldots,x_n). Sa dérivée s'annule sur tout l'intervalle [0,\max(x_1,\ldots,x_n)[. Il est clair que pour trouver le maximum de cette fonction il ne faut pas regarder où la dérivée s'annule.

La valeur de L sera maximale pour \hat a = \max(x_1,...,x_n), car \tfrac {1}{a^n} est décroissante pour a > 0.

Cet exemple permet de montrer également que le logarithme de la vraisemblance n'est pas toujours bien définie (sauf si on accepte que \ln (0) = -\infty ).

Voir aussi

  • Portail des probabilités et des statistiques Portail des probabilités et des statistiques

Wikimedia Foundation. 2010.

Contenu soumis à la licence CC-BY-SA. Source : Article Maximum de vraisemblance de Wikipédia en français (auteurs)

Игры ⚽ Нужен реферат?

Regardez d'autres dictionnaires:

  • Maximum De Vraisemblance — L estimation du maximum de vraisemblance est une méthode statistique courante utilisée pour inférer les paramètres de la distribution de probabilité d un échantillon donné. Cette méthode a été développée par le statisticien et généticien Ronald… …   Wikipédia en Français

  • méthode de maximum de vraisemblance — maksimaliojo tikėtinumo metodas statusas T sritis automatika atitikmenys: angl. maximum likelihood method vok. Methode der maksimalen Mutmaßlichkeit, f rus. метод максимального правдоподобия, m pranc. méthode de maximum de vraisemblance, f;… …   Automatikos terminų žodynas

  • Maximum De Parcimonie — Les méthodes de Maximum de Parcimonie, ou plus simplement méthodes de parcimonie ou encore parcimonie de Wagner, sont une méthode statistique non paramétrique très utilisée, notamment pour l inférence phylogénétique. Cette méthode permet de… …   Wikipédia en Français

  • Maximum de parcimonie — Les méthodes de Maximum de Parcimonie, ou plus simplement méthodes de parcimonie ou encore parcimonie de Wagner, sont une méthode statistique non paramétrique très utilisée, notamment pour l inférence phylogénétique. Cette méthode permet de… …   Wikipédia en Français

  • Maximum a posteriori — L estimateur du maximum a posteriori ou à postériori (MAP), tout comme la méthode du maximum de vraisemblance, est une méthode pouvant être utilisée afin d estimer un certain nombre de paramètres inconnus, comme par exemple les parametres d une… …   Wikipédia en Français

  • Vraisemblance — Sur les autres projets Wikimedia : « Vraisemblance », sur le Wiktionnaire (dictionnaire universel) Vraisemblance, en langage courant, est l attribut de ce qui semble intuitivement vrai, c est à dire, celui qu’on attribue à une… …   Wikipédia en Français

  • maximum-likelihood method — maksimaliojo tikėtinumo metodas statusas T sritis automatika atitikmenys: angl. maximum likelihood method vok. Methode der maksimalen Mutmaßlichkeit, f rus. метод максимального правдоподобия, m pranc. méthode de maximum de vraisemblance, f;… …   Automatikos terminų žodynas

  • Maximum de Parcimonie — Les méthodes de Maximum de Parcimonie, ou plus simplement méthodes de parcimonie ou encore parcimonie de Wagner, sont une méthode statistique non paramétrique très utilisée, notamment pour l inférence phylogénétique. Cette méthode permet de… …   Wikipédia en Français

  • vraisemblance — [ vrɛsɑ̃blɑ̃s ] n. f. • 1358; de vrai et semblance, d apr. le lat. verisimilitudo ♦ Caractère vraisemblable; apparence de vérité. ⇒ crédibilité. L hypothèse « gagnait en force ce qu elle perdait en vraisemblance » (Proust ). « Soutenir avec… …   Encyclopédie Universelle

  • Méthode de maximum de parcimonie — Maximum de Parcimonie Les méthodes de Maximum de Parcimonie, ou plus simplement méthodes de parcimonie ou encore parcimonie de Wagner, sont une méthode statistique non paramétrique très utilisée, notamment pour l inférence phylogénétique. Cette… …   Wikipédia en Français

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”