Convergence de variables aléatoires

Convergence de variables aléatoires

Dans la théorie des probabilités, il existe différentes notions de convergence de variables aléatoires. La convergence (dans un des sens décrits ci-dessous) de suites de variables aléatoires est un concept important de la théorie des probabilités utilisé notamment en statistique et dans l'étude des processus stochastiques. Par exemple, la moyenne de n variables aléatoires indépendantes et identiquement distribuées converge presque sûrement vers l'espérance commune de ces variables aléatoires. Ce résultat est connu sous le nom de loi forte des grands nombres.


Dans cet article, on suppose que (Xn) est une suite de variables aléatoires réelles, que X est une variable aléatoire réelle, et que toutes ces variables sont définies sur un même espace probabilisé (\Omega, \mathcal{F}, \mathbb{P}).

Sommaire

Convergence en loi

Soient F1, F2, ... la suite des fonctions de répartition associées aux variables aléatoires réelles X1, X2, ..., et F la fonction de répartition de la variable aléatoire réelle X. Autrement dit, Fn est définie par Fn(x)=P(Xn ≤ x), et F par F(x)=P(X ≤ x).

La suite Xn converge vers X en loi, ou en distribution, si

\lim_{n\rightarrow\infty} F_n(a) = F(a), pour tout réel a où F est continue.

Puisque F(a) = P(X ≤ a), cela signifie que la probabilité que X appartienne à un certain intervalle est très similaire à la probabilité que Xn soit dans cet intervalle pour n suffisamment grand. La convergence en loi est souvent notée en ajoutant la lettre \mathcal L (ou \mathcal D pour distribution) au-dessus de la flèche de convergence:

X_n \xrightarrow{\mathcal{L}} X.

La convergence en loi est la forme la plus faible au sens où, en général, elle n'implique pas les autres formes de convergence définies ci-dessous, alors que ces autres formes de convergence impliquent la convergence en loi. C'est ce type de convergence qui est utilisé dans le théorème de la limite centrale.

De manière équivalente, la suite (Xn) converge en loi vers X si et seulement si pour toute fonction continue bornée

\lim_{n\rightarrow\infty} E[f(X_n)]=E [f(X)].

Théorème de continuité de Paul Lévy — Soit φn(t) la fonction caractéristique de Xn et φ(t) celle de X. Alors

\left\{\forall t\in\mathbb{R} : \varphi_n(t)\to\varphi(t)\right\}\quad\Leftrightarrow\quad\left\{ X_n \xrightarrow{\mathcal D} X\right\}

Autrement dit, (Xn) converge en loi vers X ssi la fonction caractéristique de la variable aléatoire réelle Xn converge simplement vers la fonction caractéristique de la variable aléatoire réelle X.

exemple: Théorème de la limite centrale  :

La moyenne d'une suite de variables aléatoires centrées, indépendantes et de même loi, une fois renormalisée par √n converge en loi vers la loi normale

\sqrt{n}\bar X_n\xrightarrow{\mathcal{L}}\mathcal{N}(0, \sigma^2).
exemple: convergence de la loi de Student  :

La loi de Student de paramètre k converge, lorsque k tend vers +∞, vers la loi de Gauss:

\mathrm{t}(k)\xrightarrow{\mathcal{L}}\mathcal{N}(0,1).

Dans ce cas, on peut aussi utiliser le lemme de Scheffé, qui est un critère de convergence d'une suite de variables aléatoires à densité vers une variable aléatoire à densité.

exemple: loi dégénérée  :

La suite[1] \mathcal{N}\left(0, \frac{1}{n}\right) converge en loi vers une variable aléatoire X0 dite dégénérée, qui prend une seule valeur (0) avec probabilité 1 (on parle parfois de masse de Dirac en 0, notée δ0) :

\mathbb{P}(X_0\le x)=\delta_0\left(]-\infty,x]\right)=\begin{cases}0 & \text{ si } x< 0,\\1 &\text{ si } x \geq 0.\end{cases}

Convergence en probabilité

Définition —  On dit que Xn converge vers X en probabilité si,

\forall \varepsilon>0,\qquad \lim_{n\rightarrow\infty}\mathbb{P}\left(\left|X_n-X\right|\geq\varepsilon\right)=0.

La convergence en probabilité est parfois notée X_n \xrightarrow{p} X, ou encore \operatorname{plim} X_n = X

La convergence en probabilité est utilisée dans la loi faible des grands nombres.

La convergence en probabilité implique la convergence en loi. On peut donc énoncer le théorème suivant:

Théorème —  Xn converge vers X en probabilité \Rightarrow Xn converge vers X en loi.

Démonstration

Pour effectuer la démonstration, le lemme suivant est utile

Soient X, Y des variables aléatoires réelles, c un réel et ε > 0. Alors

Lemme — \mathbb{P}(Y\leq c)\leq \mathbb{P}(X\leq c+\varepsilon)+\mathbb{P}(\left|Y - X\right|>\varepsilon).

Démonstration du lemme

\mathbb{P}(Y\leq c)=\mathbb{P}(Y\leq c,X\leq c+\varepsilon)+\mathbb{P}(Y\leq c,X>c+\varepsilon)

=\mathbb{P}(Y\leq c \vert X\leq c+\varepsilon)\mathbb{P}(X\leq c+\varepsilon)+\mathbb{P}(Y\leq c,c<X - \varepsilon)
\leq \mathbb{P}(X\leq c+\varepsilon)+\mathbb{P}(Y - X<- \varepsilon)\leq \Pr(X\leq c+\varepsilon)+\mathbb{P}(\left|Y - X\right|>\varepsilon)

car

\mathbb{P}(\left|Y - X\right|>\varepsilon)=\mathbb{P}(Y - X>\varepsilon)+\mathbb{P}(Y - X<-\varepsilon)\geq \mathbb{P}(Y - X<-\varepsilon).

Pour tout ε > 0, en raison de ce lemme, on a:

\mathbb{P}(X_n\leq a)\leq \mathbb{P}(X\leq a+\varepsilon)+\mathbb{P}(\left|X_n - X\right|>\varepsilon)
\mathbb{P}(X\leq a-\varepsilon)\leq \mathbb{P}(X_n \leq a)+\mathbb{P}(\left|X_n - X\right|>\varepsilon)

On a donc

\mathbb{P}(X\leq a-\varepsilon)-\mathbb{P}(\left|X_n - X\right|>\varepsilon)\leq \mathbb{P}(X_n \leq a)\leq \mathbb{P}(X\leq a+\varepsilon)+\mathbb{P}(\left|X_n - X\right|>\varepsilon).


Soit a un point de continuité de FX. On fixe un réel ε' > 0. Par continuité de FX en a, il existe un réel \varepsilon >0 tel que |P(X\leqslant a+\varepsilon)-P(X\leqslant a)|<\varepsilon' et |P(X\leqslant a-\varepsilon)-P(X\leqslant a)|<\varepsilon' .

De la convergence de (Xn)n en probabilité vers X, on peut en déduire l'existence d'un entier N tel que : \mathbb{P}(\left|X_n - X\right|>\varepsilon)<\varepsilon' si n \geqslant N.

D'où : \forall n \in \N, n\geqslant N \Rightarrow |P(X_n\leqslant a)-P(X\leqslant a)|<2\varepsilon' .

Il existe des conditions suffisantes de convergence en probabilité vers une constante[2], portant sur l'espérance et la variance des termes de la suite :

Théorème —  \lim_{n \to \infty} \operatorname{E}[X_n]=c\quad \mathbf{ et } \quad \lim_{n \to \infty}\operatorname{Var}[X_n]= 0 \Rightarrow X_n \xrightarrow{p} c.

Démonstration

On veut montrer que \lim_{n \to \infty}\operatorname{E}[X_n]= c\quad \mathbf{ et } \quad \lim_{n \to \infty}\operatorname{Var}[X_n]= 0 \Rightarrow X_n \xrightarrow{p} c

On se sert de l'inégalité de Markov pour les variables aléatoires réelles admettant un moment d'ordre 2 :

Théorème —  \mathbb{P}\left(\left|U\right| \geq \varepsilon \right) \leq \frac{\operatorname{E}\left[U^2\right]}{\varepsilon^2}\qquad \forall \varepsilon >0.

D'où, quels que soient le réel strictement positif ε et l'indice n :

\begin{align} \mathbb{P}\left(\left|X_n-c\right| \geq \varepsilon \right) &\leq \frac{\operatorname{E}\left[(X_n-c)^2\right]}{\varepsilon ^2}\\ &= \frac{\operatorname{Var}(X_n-c)+\left(\operatorname{E}[X_n-c]\right)^2}{\varepsilon ^2}\text{ (formule de Huygens)}\\ &= \frac{\operatorname{Var}(X_n)+\left(\operatorname{E}[X_n]-c\right)^2}{\varepsilon ^2}\\ \end{align}

Il en découle que :

si \operatorname{E}[X_n]\to c \quad \mathbf{ et }\quad \operatorname{Var}[X_n]\to 0\text{ alors }\mathbb{P}\left( |X_n -c|\geq\varepsilon\right)\to 0,\text{ donc } X_n \xrightarrow{p} c

Exemple  :

Ce théorème est très utile pour démontrer la loi faible des grands nombres de manière simple: il suffit de voir que si \left(X_i\right) est une suite de variables aléatoires indépendantes et identiquement distribuées d'espérance μ et de variance σ2 et que \bar{X}_n =\frac{1}{n}\sum_{i=1}^{n} X_i, alors:

\operatorname{E}[\bar{X}_n]=\mu
\lim_{n\to\infty}\operatorname{Var}[\bar{X}_n]=\lim_{n\to\infty}\frac{\sigma^2}{n}=0\qquad (voir preuve sur la page variance)

Donc \bar{X}_n\xrightarrow{p}\mu

La réciproque n'est pas vraie :

  • Dans l'exemple suivant, la suite, d'espérance constante, converge vers une constante différente de cette espérance ; la suite des variances tend vers l'infini.
Exemple  :

Soit une suite \left(X_n\right)_{n \geq 1} de variables aléatoires telle que chaque Xn prenne pour valeurs 0 et n et que :

\mathbb{P}(X_n=n)=\frac{1}{n}, donc \mathbb{P}(X_n=0)=1-\frac{1}{n}.

On voit qu'elle converge en probabilité : \forall \varepsilon >0, \forall n \geq \varepsilon: \mathbb{P}(|X_n|\geq\varepsilon)= \mathbb{P}(X_n=n)=\frac{1}{n} \to 0\text{ donc }X_n \xrightarrow{p} 0 .

Cependant, \operatorname{E}[X_n]=1 et \operatorname{Var}[X_n]=n-1\to +\infty.

Ainsi les conditions énoncées plus haut de convergence en probabilité vers une constante ne sont pas nécessaires[3].

Convergence presque sûre

On dit que Xn converge presque sûrement ou presque partout ou avec probabilité 1 ou fortement vers X si

Définition — \mathbb{P}\left(\lim_{n\rightarrow\infty}X_n=X\right)=1.

Cela signifie que les valeurs de Xn approchent la valeur de X, au sens où (cf. presque partout) l'événement sur lequel Xn ne converge pas vers X a une probabilité nulle.

On note souvent cela X_n \xrightarrow{ps} X ou X_n \xrightarrow{as} X (almost surely en anglais).

On peut expliciter la définition de la convergence presque sûre en utilisant l'espace probabilisé (\Omega, \mathcal{F}, \mathbb{P}) et le concept de variable aléatoire comme fonction de Ω dans \R:

\mathbb{P}\left(\big\{\omega \in \Omega \, | \, \lim_{n \to \infty}X_n(\omega) = X(\omega) \big\}\right) = 1.

Théorème —  Xn converge vers X presque sûrement \Rightarrow X_n converge vers X en probabilité

La convergence presque sûre est utilisée dans la loi forte des grands nombres.

Convergence en moyenne d'ordre r

Soit r > 0. On dit que Xn converge vers X en moyenne d'ordre r ou en norme Lr si E|Xn|r < ∞ pour tout n et

\lim_{n\rightarrow\infty}\mathrm{E}\left(\left|X_n-X\right|^r\right)=0.

La convergence en moyenne d'ordre r nous dit que l'espérance de la puissance r-ième de la différence entre Xn et X converge vers zéro.

Pour r =2, on parle de convergence en moyenne quadratique

Théorème —  Xn converge vers X en norme Lr \Rightarrow X_n converge vers X en probabilité.

Démonstration

On se sert de l'inégalité de Markov pour les variables aléatoires réelles admettant un moment d'ordre r :

Théorème —  \mathbb{P}\left(\left|U\right| \geq \varepsilon \right) \leq \frac{\operatorname{E}\left[|U|^r\right]}{\varepsilon^r}\qquad \forall \varepsilon >0.

On a donc : \mathbb{P}\left(\left|X_n-X\right| \geq \varepsilon \right) \leq \frac{\operatorname{E}[\left|X_n-X\right|^r]}{\varepsilon^r} , d'où découle le résultat annoncé.


Théorème — Pour r > s ≥ 1, la convergence en norme Lr implique la convergence en norme Ls.

On a également le résultat suivant:

Théorème —  Xn converge vers une constante c en moyenne quadratique \Leftrightarrow \left\{\lim_{n \to \infty}\operatorname{E}[X_n]=c\quad\mathbf{et}\quad \lim_{n \to \infty}\operatorname{Var}[X_n]=0\right\}.

Démonstration

On a vu plus haut que :

\operatorname{E}\left[(X_n-c)^2\right] = \operatorname{Var}(X_n)+\left(\operatorname{E}[X_n]-c\right)^2

Convergence d'une fonction d'une variable aléatoire

Un théorème très pratique, désigné en anglais généralement sous le nom de Mapping theorem (en), établit qu'une fonction g continue appliquée à une variable qui converge vers X convergera vers g(X) pour tous les modes de convergence:

Théorème — Mapping theorem[4] Soit g: \R^k \to\R^m une fonction continue en tout point d'un ensemble C tel que \mathbb{P}(X\in C)=1 :

  • Si X_n\xrightarrow{\mathcal{L}}X\text{ alors }g(X_n)\xrightarrow{\mathcal{L}}g(X)
  • Si X_n\xrightarrow{p}X\text{ alors }g(X_n)\xrightarrow{p}g(X)
  • Si X_n\xrightarrow{p.s}X\text{ alors }g(X_n)\xrightarrow{p.s.}g(X)


Exemple  :

En statistiques, un estimateur convergent de la variance σ2 est donné par:

s^2_{n-1} \equiv \frac{1}{n-1} \sum_{i=1}^n\left(y_i - \overline{y} \right)^2

On sait alors par le continuous mapping theorem que l'estimateur \sqrt{s^2_{n-1}} de l'écart type \sigma =\sqrt{\sigma ^2} est convergent, car la fonction racine est une fonction continue.

Implications réciproques

À quelques exceptions près, les implications mentionnées dans les sections précédentes n'ont pas de réciproque, à proprement parler. Voici toutefois quelques propriétés utiles qu'on pourrait qualifier de « semblants de réciproques » :

  • Si Xn converge en loi vers une constante réelle c, alors Xn converge en probabilité vers c.
  • Si Xn converge presque sûrement vers X, alors Xn converge en loi vers X, et la réciproque est fausse, mais il existe un théorème (appelé « théorème de représentation de Skorokhod (en) ») qui est une forme de réciproque, voir, dans Fonction de répartition, la section Convergence en loi et fonction de répartition, et particulièrement (1. implique 3.).
  • Si Xn converge en probabilité vers X, et si P(|Xn| ≤ b) = 1 pour tout n et un certain b, alors Xn converge en moyenne d'ordre r vers X pour tout r ≥ 1. Plus généralement, si Xn converge en probabilité vers X, et si la famille (|X|pn) est uniformément intégrable, alors Xn converge en moyenne d'ordre p vers X.
  • Si pour tout ε > 0,
\sum_n\mathbb P\left(|X_n - X| > \varepsilon\right) < \infty,

alors Xn converge presque sûrement vers X. En d'autres termes, si Xn converge en probabilité vers X suffisamment rapidement (i.e. la série ci-dessus converge pour tout ε > 0), alors Xn converge aussi presque sûrement vers X. Cela résulte d'une application directe du théorème de Borel-Cantelli.

  • Soit (X_n)_{n\ge1} une suite de variables aléatoires réelles indépendantes. Pour tout n, on pose :
S_n = X_1+\cdots+X_n.

Alors la convergence presque sûre de la suite (S_n)_{n\ge1} équivaut à sa convergence en probabilité ; autrement dit, la convergence presque sûre de la série de terme général Xn équivaut à sa convergence en probabilité.

Notes

  1. ↑ Pour plus de détail sur cet exemple: voir Davidson et McKinnon (1993, chap. 4)
  2. ↑ Ce sont en fait des conditions nécessaires et suffisantes de convergence en moyenne quadratique vers cette même constante, cf. infra.
  3. ↑ En fait, cet exemple montre qu'une suite de variables aléatoires réelles peut converger en probabilité vers une constante sans converger en moyenne quadratique.
  4. ↑ Tiré de Vaart (1998, p.7)

Références

  • Portail des probabilités et des statistiques Portail des probabilités et des statistiques
v · Probabilités et statistiques
Théorie des probabilités Axiomes des probabilités • Espace probabilisable • Probabilité • Événement • Tribu • Indépendance
Probabilités élémentaires Moyenne • Espérance • Médiane • Variance • Écart type
Loi de probabilité Variable aléatoire • Loi de Bernoulli • Loi de Poisson • Loi uniforme • Loi normale • Loi de Student • Loi de Fisher • Variables iid
Convergence de lois Théorème central limite • Loi des grands nombres • Théorème de Borel-Cantelli
Calcul stochastique Marche aléatoire • Chaîne de Markov • Processus stochastique • Processus de Markov • Martingale • Mouvement brownien • Équation différentielle stochastique
Statistiques
Statistique descriptive Échantillon • Quantile • Intervalle de confiance • Représentations de données • Histogramme • Diagramme circulaire • Boîte à moustaches • Régression linéaire • Méthode des moindres carrés
Statistique mathématique Fonction de répartition empirique • Théorème de Glivenko-Cantelli • Inférence bayésienne
Tests statistiques Test d'hypothèse • Hypothèse statistique • Estimateur • Test du χ² • Test t • Test de Fisher
Applications Économétrie • Mécanique statistique • Jeu de hasard • Biomathématique • Mathématiques financières

Wikimedia Foundation. 2010.

Contenu soumis à la licence CC-BY-SA. Source : Article Convergence de variables aléatoires de Wikipédia en français (auteurs)

Игры ⚽ Нужно сделать НИР?

Regardez d'autres dictionnaires:

  • Convergence De Variables Aléatoires — Dans la théorie des probabilités, il existe différentes notions de convergence de variables aléatoires. La convergence (dans un des sens décrits ci dessous) de suites de variables aléatoires est un concept important de la théorie des probabilités …   Wikipédia en Français

  • Convergence de variables aleatoires — Convergence de variables aléatoires Dans la théorie des probabilités, il existe différentes notions de convergence de variables aléatoires. La convergence (dans un des sens décrits ci dessous) de suites de variables aléatoires est un concept… …   Wikipédia en Français

  • Convergence — Cette page d’homonymie répertorie les différents sujets et articles partageant un même nom. Sur les autres projets Wikimedia : « Convergence », sur le Wiktionnaire (dictionnaire universel) Le terme de convergence est utilisé dans… …   Wikipédia en Français

  • Variables indépendantes et identiquement distribuées — En statistique, des variables indépendantes et identiquement distribuées (iid) sont des variables aléatoires qui ont toutes la même loi de probabilité et sont mutuellement indépendantes. En inférence statistique ou en apprentissage automatique,… …   Wikipédia en Français

  • Loi de probabilité à plusieurs variables — Dans certains problèmes interviennent simultanément plusieurs variables aléatoires. Mis à part les cas particuliers de variables indépendantes (notion définie ci dessous) et de variables liées fonctionnellement, cela introduit la notion de loi de …   Wikipédia en Français

  • Theorie des probabilites — Théorie des probabilités Courbes de probabilité. La Théorie des probabilités est l étude mathématique des phénomènes caractérisés par le hasard et l incertitude. Les objets centraux de la théorie des probabilités sont les variables aléatoires,… …   Wikipédia en Français

  • Théorie des probabilités — Pour les articles homonymes, voir Interconnexions entre la théorie des probabilités et les statistiques. Courbes de probabilité. La théorie des probabilités est l étude mathématique des phén …   Wikipédia en Français

  • Fonction de répartition — Fonctions de répartition d une variable discrète, d une variable diffuse et d une variable avec atome, mais non discrète. En théorie des probabilités ou en statistiques, la fonction de répartition d une variable aléatoire réelle caractérise la… …   Wikipédia en Français

  • Fonction De Répartition — Fonctions de répartition d une variable discrète, d une variable diffuse et d une variable avec atome, mais non discrète. En théorie des probabilités ou en statistiques, la fonction de répartition d une variable aléatoire réelle caractérise la lo …   Wikipédia en Français

  • Fonction de repartition — Fonction de répartition Fonctions de répartition d une variable discrète, d une variable diffuse et d une variable avec atome, mais non discrète. En théorie des probabilités ou en statistiques, la fonction de répartition d une variable aléatoire… …   Wikipédia en Français

Share the article and excerpts

Direct link
… Do a right-click on the link above
and select “Copy Link”