Loi forte des grands nombres

Loi forte des grands nombres

Une loi forte des grands nombres est une loi mathématique selon laquelle la moyenne des n premiers termes d'une suite de variables aléatoires converge presque sûrement vers une constante (non aléatoire), lorsque n tend vers l'infini. Lorsque ces variables ont même espérance, par exemple lorsqu'elles ont toutes même loi, cette limite constante est l'espérance commune à toutes les variables aléatoires de cette suite. La loi forte est vérifiée sous diverses conditions de dépendance et d'intégrabilité portant sur les variables aléatoires de la suite.

Les exemples les plus célèbres concernent la proportion de résultats pile ou face lors des n premiers lancers d'une série potentiellement infinie de lancers (cette proportion converge presque sûrement vers 0,5), ou la proportion de chiffres 0, 1, 2, ..., 8 ou 9 dans le développement décimal d'un nombre réel tiré au hasard. La première version de la loi forte des grands nombres est due à Émile Borel, qui démontre ainsi, en 1909[1], le théorème des nombres normaux.

Sommaire

Énoncé général

Le principe de la loi forte des grands nombres est que sous certaines conditions (sur la dépendance, sur l'homogénéité et sur les moments) la moyenne d'une suite de variables aléatoires {Xn} converge presque sûrement vers la même limite (constante) que l'espérance de la moyenne. En particulier, l'adjectif "fort" fait référence à la nature de la convergence établie par ce théorème : il est réservée à un résultat de convergence presque sûre. Par opposition, la loi faible des grands nombres, établie par Bernoulli, est un résultat de convergence en probabilité, seulement. Soit:

Principe général —  \bar X_n -\bar\mu_n \xrightarrow{p.s.} 0\qquad \qquad \text{ avec } \bar X_n\equiv n^{-1}\sum_{i=1}^n X_i\text{ et } \bar \mu_n\equiv \operatorname{E}\left[\bar X_n\right]

Il existe différents théorèmes selon le type d'hypothèses faites sur la suite {Xn}[2] :

  • observations indépendantes et identiquement distribuées,
  • observations indépendantes et non-identiquement distribuées,
  • observations dépendantes et identiquement distribuées.

Observations indépendantes et identiquement distribuées

Loi forte des grands nombres (Kolmogorov, 1929) — Si \ \scriptstyle {(X_n)}_{n>0} est une suite de v.a. i.i.d., on a équivalence entre:

(i) \ \mathbb{E}\left(\left| X_1 \right|\right)<+\infty,
(ii) la suite \ \scriptstyle \tfrac{X_1 + \cdots + X_n}{n}\ converge presque sûrement.
De plus, si l'une de ces deux conditions équivalentes est remplie, alors la suite \ \scriptstyle \tfrac{X_1 + \cdots + X_n}{n}\ converge presque sûrement vers la constante \ \scriptstyle \mathbb{E}\left(X_1\right).

C'est la première loi forte à avoir été démontrée avec des hypothèses optimales. Pour la démontrer, il fallait définir rigoureusement le concept de convergence presque sûre, ce qui a amené Kolmogorov à considérer les probabilités comme une branche de la théorie de la mesure: saut conceptuel dont Kolmogorov prouvait ainsi l'efficacité. La théorie moderne des probabilités s'est construite à partir du travail fondateur de Kolmogorov sur la loi forte des grands nombres. La loi forte des grands nombres est aussi un ingrédient important dans la démonstration d'autres lois fortes des grands nombres, comme le théorème de Glivenko-Cantelli, la LFGN pour les processus de renouvellement, ou la LFGN pour les chaînes de Markov. C'est du théorème dû à Kolmogorov qu'on parle lorsqu'on dit "la loi forte des grands nombres", les autres théorèmes n'étant que des lois fortes des grands nombres. Ce théorème est aussi intéressant parce qu'il aboutit à une conclusion plus forte : il établit l'équivalence entre l'intégrabilité de la suite et sa convergence, alors que les autres théorèmes fournissent seulement des implications, sans leurs réciproques. Dans le cas où les termes de la somme sont des variables de Bernoulli, la loi forte des grands nombres a été établie par Émile Borel en 1909. D'autres versions de la loi forte des grands nombres ont succédé à la version due à Borel, jusqu'à la version définitive de Kolmogorov.

Observations indépendantes et non-identiquement distribuées

Théorème de Markov — Soit {Xn} une suite de variables aléatoires indépendantes d'espérance finie \operatorname{E}(X_n)\equiv\mu_n. S'il existe δ > 0 tel que \sum_{n=1}^{\infty} \frac{\operatorname{E}\left(|X_n -\mu_n|^{1+\delta}\right)}{n^{1+\delta}} <\infty alors \bar X_n -\bar\mu_n \xrightarrow{p.s.} 0

Pour pouvoir relacher l'hypothèse d'équidistribution, on est amené à faire une hypothèse plus forte sur l'intégrabilité.

Observations dépendantes et identiquement distribuées

Théorème ergodique — Soit {Xt} une suite de variables aléatoires stationnaire ergodique avec \operatorname{E}(|X_t|)<\infty et d'espérance identique finie \operatorname{E}(X_t)\equiv\mu Alors \bar X_t \xrightarrow{p.s.} \mu

Loi forte des grands nombres de Kolmogorov

La moyenne empirique d’une suite de variables aléatoires indépendantes, identiquement distribuées, et intégrables, converge presque sûrement vers leur moyenne mathématique (ou espérance).

Autres formulations

On note souvent :

S_{n}=X_{1}+X_{2}+\cdots+X_{n}.

Ainsi l'énoncé devient

Théorème — Pour une suite \ \scriptstyle {(X_n)}_{n>0} de v.a. i.i.d., on a :

\ \scriptstyle \left\{\text{p.s. }\tfrac{S_{n}(\omega)}{n}\text{ est une suite convergente}\right\}\Leftrightarrow\left\{\mathbb{E}\left[\left|X_{1}\right|\right]<+\infty\right\}.

De plus, si l'une de ces deux conditions équivalentes est remplie, on a:

\ \scriptstyle \mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\tfrac{S_{n}(\omega)}n=\mathbb{E}\left[X_{1}\right]\right.\right) = 1.

Énoncé usuel de la loi forte

L'énoncé ci-dessous est la forme habituelle de la loi forte des grands nombres, et est une conséquence directe (une forme affaiblie) du Théorème donné plus haut :

Théorème — Soit une suite \ \scriptstyle \left(X_{n}\right)_{n\ge 1}\ de variables aléatoires indépendantes et de même loi, intégrables. Alors

\ \scriptstyle \mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\tfrac{S_{n}(\omega)}n=\mathbb{E}\left[X_{1}\right]\right.\right) = 1.

Remarques

  • En statistiques, \ \scriptstyle \tfrac{X_1 + \cdots + X_n}{n}\ ou bien \ \scriptstyle \tfrac{S_n}{n}\ est appelée moyenne empirique des \ \scriptstyle X_i\ , et est souvent notée \ \scriptstyle \overline{X}\ .
  • On peut formuler l'hypothèse \ \scriptstyle \left\{\forall n\ge1,\ X_{n}\text{ est integrable}\right\}\ , sous différentes formes, e.g.
  • \ \scriptstyle \left\{\forall n\ge1,\ \mathbb{E}\left[\left|X_{n}\right|\right]<+\infty\right\}\ ,
  • \ \scriptstyle \left\{\forall n\ge1,\ X_{n}\in\mathcal L^1(\Omega,\mathcal A,\mathbb P)\right\}\ ,
ou bien encore, puisque les \ \scriptstyle X_{i}\ ont toutes même loi,
  • \ \scriptstyle \left\{X_{1}\text{ est integrable}\right\}\ ,
  • \ \scriptstyle \left\{\mathbb{E}\left[\left|X_{1}\right|\right]<+\infty\right\}\ ,
  • \ \scriptstyle \left\{X_{1}\in\mathcal L^1(\Omega,\mathcal A,\mathbb P)\right\}\ .

Démonstration de la loi forte de Kolmogorov

1ère étape de la démonstration : troncature

On suppose tout d'abord que les variables \ \scriptstyle X_{n}\ sont centrées. On n'abandonnera cette hypothèse qu'à la toute dernière étape de la démonstration. On pose

X^{\prime}_{n} = X_{n}\,1_{\left|X_{n}\right|\le n},

et

S^{\prime}_{n} = X^{\prime}_{1}+X^{\prime}_{2}+\cdots+X^{\prime}_{n}.

Dans cette section on démontre que

Proposition 1. —  Soit une suite \ \scriptstyle \left(X_{n}\right)_{n\ge 1}\ de variables aléatoires indépendantes et de même loi, intégrables. Alors (la loi forte des grands nombres)

\ \scriptstyle \mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\tfrac{S_{n}(\omega)}n=0\right.\right) = 1.
est équivalente à
\ \scriptstyle \mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\tfrac{S^{\prime}_{n}(\omega)}n=0\right.\right) = 1.
Démonstration

Posons

A_{n}=\left\{\omega\in \Omega\,\left|\,X_{n}(\omega)\neq X^{\prime}_{n}(\omega)\right.\right\}

Alors

\begin{align} \sum_{n\ge1}\,\mathbb{P}\left(A_{n}\right) &= \sum_{n\ge1}\,\mathbb{P}\left(X_{n}\neq X^{\prime}_{n}\right) \\ &= \sum_{n\ge1}\,\mathbb{P}\left(\left|X_{n}\right|>n\right) \\ &= \sum_{n\ge1}\,\mathbb{P}\left(\left|X_{1}\right|>n\right) \\ &= \sum_{n\ge1}\,\mathbb{E}\left[1_{\left|X_{1}\right|>n}\right] \\ &= \mathbb{E}\left[\sum_{n\ge1}\,1_{\left|X_{1}\right|>n}\right], \end{align}

la 3ème égalité car \ \scriptstyle X_{1}\ et \ \scriptstyle X_{n}\ ont même loi, la dernière égalité en vertu du Théorème de convergence monotone pour les séries à termes positifs. Notons que la fonction \ \scriptstyle \phi\ définie pour \ \scriptstyle x\ge 0\ par

\phi(x) = \sum_{n\ge1}\,1_{x>n}

satisfait, pour \ \scriptstyle x\ge 0\ ,

\phi(x) = \lceil x\rceil-1\le x.

Ainsi

\begin{align} \sum_{n\ge1}\,\mathbb{P}\left(A_{n}\right) &= \mathbb{E}\left[\sum_{n\ge1}\,1_{\left|X_{1}\right|>n}\right] \\ &= \mathbb{E}\left[\phi\left(\left|X_{1}\right|\right)\right] \\ &\le \mathbb{E}\left[\left|X_{1}\right|\right]<+\infty. \end{align}

En vertu du lemme de Borel-Cantelli, il suit que

1 = \mathbb{P}\left(\left(\limsup A_{n}\right)^c\right).

On note

\begin{align} \hat{\Omega} &= \left(\limsup A_{n}\right)^c \\ &= \left\{\omega\in\Omega\,|\,\left\{n\ge 1\,|\,X_{n}(\omega)\neq X^{\prime}_{n}(\omega)\right\}\text{ est un ensemble fini}\right\}, \\ \tilde{\Omega} &= \left\{\omega\in\Omega\,|\,\lim_{n}\ n^{-1}\,\left(S_{n}(\omega)- S^{\prime}_{n}(\omega)\right)\ = 0\right\} \\ \Omega_{1} &= \left\{\omega\in\Omega\,|\,\lim_{n}\ n^{-1}\,S_{n}(\omega)\ = 0\right\} \\ \Omega_{2} &= \left\{\omega\in\Omega\,|\,\lim_{n}\ n^{-1}\,S^{\prime}_{n}(\omega)\ = 0\right\} \end{align}

et on remarque que si \ \scriptstyle \omega\in\hat{\Omega}\ , la série

\sum_{k\ge 1}\left(X_{k}(\omega)- X^{\prime}_{k}(\omega)\right)

est une série convergente, puisque, en dehors d'un nombre fini d'entre eux, tous ses termes sont nuls. Ainsi la suite des sommes partielles,

\sum_{k=1}^n\left(X_{k}(\omega)- X^{\prime}_{k}(\omega)\right) = S_{n}(\omega)- S^{\prime}_{n}(\omega),

est une suite convergente, donc bornée, ce qui entraîne que

\lim_{n}\ \frac{S_{n}(\omega)- S^{\prime}_{n}(\omega)}n\ = 0.

Autrement dit, en vertu du lemme de Borel-Cantelli, dont les hypothèses ont été vérifiées lors de la première partie de cette démonstration,

\ \mathbb{P}\left(\hat{\Omega}\right)=1.\

De plus, les quelques lignes qui précèdent montrent que

\ \hat{\Omega}\subset\tilde{\Omega},

et il suit donc que

\ \mathbb{P}\left(\tilde{\Omega}\right)=1.

Par ailleurs, il est clair que

\tilde{\Omega}\cap\Omega_{1}\subset\Omega_{2}\text{ et }\tilde{\Omega}\cap\Omega_{2}\subset\Omega_{1}\ .

On a donc bien

\left\{\mathbb{P}\left(\Omega_{1}\right)=1\right\}\Leftrightarrow\left\{\mathbb{P}\left(\Omega_{2}\right)=1\right\},\

puisque, par exemple,

\left\{\mathbb{P}\left(\tilde{\Omega}\right)=1\ \textrm{et}\ \mathbb{P}\left(\Omega_{1}\right)=1\right\}\Rightarrow\left\{\mathbb{P}\left(\tilde{\Omega}\cap\Omega_{1}\right)=1\right\}.

Dans les sections suivantes on va donc démontrer que

\mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\tfrac{S^{\prime}_{n}(\omega)}n=0\right.\right) = 1.

L'idée est que plus les variables concernées sont intégrables, i.e. plus la queue de distribution \scriptstyle\ \mathbb{P}\left(\left|X_1-\mathbb{E}(X_1)\right|\ge x\right) décroît rapidement, plus il est facile de démontrer la loi forte des grands nombres à l'aide du lemme de Borel-Cantelli. Ainsi il est facile de démontrer une forme affaiblie de la loi forte des grands nombres, par exemple sous l'hypothèse que les variables \scriptstyle\ X_n sont i.i.d. bornées, auquel cas \scriptstyle\ \mathbb{P}\left(\left|X_1-\mathbb{E}(X_1)\right|\ge x\right) est nulle pour \scriptstyle\ x assez grand, ou bien sous l'hypothèse, moins brutale, que les variables \scriptstyle\ X_n sont i.i.d. et possèdent un moment d'ordre 4, auquel cas \scriptstyle\ \mathbb{P}\left(\left|X_1-\mathbb{E}(X_1)\right|\ge x\right)=\mathcal{O}\left(x^{-4}\right). Ici, en tronquant les \scriptstyle\ X_n, Kolmogorov s'est ramené à des variables \scriptstyle\ X^{\prime}_n bornées et indépendantes, mais qui n'ont pas même loi.

2ème étape de la démonstration : recentrage

Les \ \scriptstyle X_{k}\ ont beau être centrées, cela n'entraîne pas que les \ \scriptstyle X^{\prime}_{k}\ soient centrées, sauf si on suppose, par exemple, que les \ \scriptstyle X_{k}\ sont symétriques, i.e. sauf si \ \scriptstyle X_{k}\ a même loi que \ \scriptstyle -X_{k}\ . Par exemple, si \ \scriptstyle f_{X_{1}}(x)=e^{-x-1}1_{[-1,+\infty[}(x)\ , alors, dès que \ \scriptstyle n\ge 1,\ \ \scriptstyle X^{\prime}_{k}\ n'est pas centrée. Il est commode, pour la suite, de centrer les \ \scriptstyle X^{\prime}_{k}\  : on pose

Z_{k}= X^{\prime}_{k}-\mathbb{E}\left[X^{\prime}_{k}\right],

et

C_{n}=Z_{1}+Z_{2}+\cdots+Z_{n}.

Alors

Proposition 2. —  Soit une suite \ \scriptstyle \left(X_{n}\right)_{n\ge 1}\ de variables aléatoires indépendantes et de même loi, intégrables. Alors

\ \scriptstyle \mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\tfrac{S^{\prime}_{n}(\omega)}n=0\right.\right) = 1
est équivalent à
\ \scriptstyle \mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\tfrac{C_{n}(\omega)}n=0\right.\right) = 1.
Démonstration

Un calcul simple donne que

\begin{align} \frac{S^{\prime}_{n}(\omega)}n-\frac{C_{n}(\omega)}n &= \frac{\mathbb{E}\left[X^{\prime}_{1}\right]+\mathbb{E}\left[X^{\prime}_{2}\right]+\dots+\mathbb{E}\left[X^{\prime}_{n}\right]}n, \end{align}

la différence ne dépendant pas de \ \scriptstyle \omega\ (n'étant pas aléatoire). Par ailleurs

\lim_{n}\mathbb{E}\left[X^{\prime}_{n}\right]=\lim_{n}\mathbb{E}\left[X_{n}1_{\left|X_{n}\right|\le n}\right]=\lim_{n}\mathbb{E}\left[X_{1}1_{\left|X_{1}\right|\le n}\right]=0.

En effet \ \scriptstyle X_{1}\ et \ \scriptstyle X_{n}\ ont même loi, et, d'autre part, pour tout \ \scriptstyle \omega\in\Omega\ ,

\begin{align} \lim_{n}X_{1}(\omega)1_{\left|X_{1}(\omega)\right|\le n} &= X_{1}(\omega), \\ \left|X_{1}(\omega)1_{\left|X_{1}(\omega)\right|\le n}\right| &\le \left|X_{1}(\omega)\right|. \end{align}

On peut donc appliquer le Théorème de convergence dominée de Lebesgue, et obtenir

\lim_{n}\mathbb{E}\left[X^{\prime}_{n}\right]=\lim_{n}\mathbb{E}\left[X_{1}1_{\left|X_{1}\right|\le n}\right]=\mathbb{E}\left[\lim_{n}\,X_{1}1_{\left|X_{1}\right|\le n}\right]=\mathbb{E}\left[X_{1}\right]=0.

Finalement, on sait, en vertu du lemme de Cesàro, que la convergence d'une suite (\ \scriptstyle u_{n}\rightarrow\ell\ ) entraîne sa convergence en moyenne de Cesàro (\ \scriptstyle \frac{u_{1}+u_{2}+\dots+u_{n}}n\rightarrow\ell\ ), donc, pour tout \ \scriptstyle \omega\in\Omega\ ,

\begin{align} \lim_{n}\frac{S^{\prime}_{n}(\omega)}n-\frac{C_{n}(\omega)}n &= 0. \end{align}

La Proposition 2 est donc démontrée.

3ème étape : Inégalité de Kolmogorov

C'est l'étape où Kolmogorov utilise l'hypothèse d'indépendance (et, sans le dire, la notion de temps d'arrêt). Par contre, l'Inégalité de Kolmogorov ne requiert pas des variables de même loi.

Inégalité de Kolmogorov. — Soit une suite \ \scriptstyle \left(Y_{n}\right)_{n\ge 1}\ de v.a.r. indépendantes et centrées. Posons

W_{n}=Y_{1}+Y_{2}+\cdots+Y_{n}.

Alors, pour tout \ \scriptstyle x>0\ ,

\mathbb{P}\left(\sup\left\{\left|W_{n}\right|\,|\,n\ge 1\right\}>x\right)\le \frac{\sum_{n\ge 1}\text{Var}\left(Y_{n}\right)}{x^2}.
Démonstration

Si \ \scriptstyle \sum_{n\ge 1}\text{Var}\left(Y_{n}\right)=+\infty\ , l'inégalité est vérifiée. Dans la suite, on suppose que

\sum_{n\ge 1}\text{Var}\left(Y_{n}\right)<+\infty.

On pose

\sigma=\left\{\begin{array}{lll} +\infty&\ \ &\text{si }\left\{k\ge 1\ |\ \left|W_{k}\right|>x\right\}=\emptyset, \\ && \\ \inf\left\{k\ge 1\ |\ \left|W_{k}\right|>x\right\}&\ \ &\text{sinon.} \end{array}\right.

On remarque alors que, pour \ \scriptstyle k\le n\ ,

W_{k}1_{\sigma=k}\ \bot\ W_{n}-W_{k}.

En effet \ \scriptstyle W_{n}-W_{k}=Y_{k+1}+Y_{k+2}+\dots+Y_{n}\ , alors que

\begin{align} \left\{\sigma=k\right\} &= \left\{\left|W_{1}\right|\le x, \left|W_{2}\right|\le x,\dots,\left|W_{k-1}\right|\le x\text{ et }\left|W_{k}\right|> x\right\} \\ &= \left\{\left|Y_{1}\right|\le x,\ \left|Y_{1}+Y_{2}\right|\le x,\ \dots,\ \left|Y_{1}+\dots+Y_{k-1}\right|\le x\text{ et }\left|Y_{1}+\dots+Y_{k}\right|> x \right\}. \end{align}

Ainsi pour deux boréliens quelconques \ \scriptstyle A\ et \ \scriptstyle B\ , les deux évènements

\left\{W_{k}1_{\sigma=k}\in A\right\}\text{ et }\left\{W_{n}-W_{k}\in B\right\}

appartiennent aux tribus \ \scriptstyle \sigma\left(Y_{1},Y_{2},\dots,Y_{k}\right)\ et \ \scriptstyle \sigma\left(Y_{k+1},Y_{k+2},\dots,Y_{n}\right)\ , respectivement. Ils sont donc indépendants en vertu du lemme de regroupement, ce qui implique bien \ \scriptstyle W_{k}1_{\sigma=k}\ \bot\ W_{n}-W_{k} . On a

\begin{align} \sum_{k=1}^n\,\text{Var}\left(Y_{k}\right) &= \text{Var}\left(W_{n}\right)\ =\ \mathbb{E}\left[W_{n}^2\right] \\ &\ge \mathbb{E}\left[W_{n}^21_{\sigma<+\infty}\right] \\ &= \sum_{k\ge1}\ \mathbb{E}\left[W_{n}^2\ 1_{\sigma=k}\right] \\ &\ge \sum_{k=1}^n\ \mathbb{E}\left[W_{n}^21_{\sigma=k}\right] \\ &= \sum_{k=1}^n\ \mathbb{E}\left[\left(W_{n}-W_{k}+W_{k}\right)^21_{\sigma=k}\right] \\ &\ge \sum_{k=1}^n\ \mathbb{E}\left[W_{k}^21_{\sigma=k}\right]+2\mathbb{E}\left[W_{n}-W_{k}\right]\mathbb{E}\left[W_{k}1_{\sigma=k}\right] \\ &= \sum_{k=1}^n\ \mathbb{E}\left[W_{k}^21_{\sigma=k}\right] \\ &\ge \sum_{k=1}^n\ \mathbb{E}\left[x^21_{\sigma=k}\right] \\ &= x^2\mathbb{P}\left(\sigma\le n\right), \end{align}

où la troisième inégalité s'obtient en développant le carré en deux termes carrés (dont l'un est supprimé pour minorer l'expression précédente) et un double produit (de deux variables indépendantes, en vertu de \ \scriptstyle W_{k}1_{\sigma=k}\ \bot\ W_{n}-W_{k} ). L'égalité suivante tient à ce que \ \scriptstyle W_{n}-W_{k}\ est centrée (comme somme de v.a. centrées), et la dernière inégalité découle de la définition du temps d'arrêt \ \scriptstyle \sigma\  : par définition, au temps \ \scriptstyle \sigma\ , on a \ \scriptstyle W_{\sigma}>x\ . En faisant tendre \ \scriptstyle n\ vers l'infini on obtient

\begin{align} \sum_{k\ge 1}\,\text{Var}\left(Y_{k}\right) &\ge x^2\ \mathbb{P}\left(\sigma< +\infty\right), \\ &= x^2\ \mathbb{P}\left(\left\{k\ge 1\ |\ \left|W_{k}\right|>x\right\}\neq\emptyset\right), \\ &= x^2\ \mathbb{P}\left(\sup\left\{\left|W_{n}\right|\,|\,n\ge 1\right\}>x\right), \end{align}

C.Q.F.D.

Voir aussi l'article en anglais sur le même sujet.

4ème étape : Convergence de séries de variables aléatoires

L'inégalité de Kolmogorov est, avec le lemme de Borel-Cantelli, l'ingrédient essentiel de la preuve de la proposition suivante :

Proposition 3. —  Soit une suite \ \ \scriptstyle \left(U_{n}\right)_{n\ge 1}\ de v.a.r. indépendantes et centrées. Si

\sum_{n\ge 1}\text{Var}\left(U_{n}\right)<+\infty,

alors la suite \ \scriptstyle T_{n}=U_{1}+U_{2}+\cdots+U_{n}\ est presque sûrement convergente, ou bien, équivalemment, la série \ \scriptstyle \sum_{n\ge 1}\ U_{n}\ est presque sûrement convergente.

Démonstration

On pose

r_{M}=\sum_{k> M}\text{Var}\left(U_{k}\right).

En vertu de la convergence de la série de terme général \ \scriptstyle \text{Var}\left(U_{k}\right)\ , la suite \ \scriptstyle (r_{M})_{M\ge 1}\ converge vers 0. On applique l'inégalité de Kolmogorov à la suite

Yn = UM + n.

Avec les notations de l'inégalité de Kolmogorov, on a

\begin{align} W_{n} &= T_{M+n}-T_{M}, \\ \sum_{k\ge 1}\text{Var}\left(Y_{k}\right) &= r_{M}. \end{align}

Donc l'inégalité de Kolmogorov nous donne, pour tout \ \scriptstyle x>0\ et \ \scriptstyle M\ge 1\ ,

\mathbb{P}\left(\sup_{n\ge 1}\left|T_{M+n}-T_{M}\right|>x\right)\le\frac{r_{M}}{x^2}.

Notons que la suite de variables aléatoires \ \scriptstyle (V_{M})_{M\ge 0}\ , définie par

\begin{align} V_{M} &= \sup_{n,m\ge 1}\left|T_{M+n}-T_{M+m}\right| \\ &= \sup_{k,\ell> M}\left|T_{k}-T_{\ell}\right|, \end{align}

est décroissante, puisque la suite d'ensembles \ \scriptstyle (C_{M})_{M\ge 0}\ , définie par

C_M=\{\left|T_{k}-T_{\ell}\right|\ |\ k,\ell> M\},

est décroissante. De plus \ \scriptstyle V_{M}\ satisfait à

\begin{align} V_{M} &\le \sup_{n,m\ge 1}\left(\left|T_{M+n}-T_{M}\right|+\left|T_{M}-T_{M+m}\right|\right) \\ &= 2\sup_{n\ge 1}\left|T_{M+n}-T_{M}\right|. \end{align}

On en déduit que, pour tout \ \scriptstyle k,M\ge 1\ ,

\begin{align} \mathbb{P}\left(V_{M}>\tfrac1k\right) &\le \mathbb{P}\left(\sup_{n\ge 1}\left|T_{M+n}-T_{M}\right|>\tfrac1{2k}\right) \\ &\le 4k^2r_{M}. \end{align}

La suite \ \scriptstyle (r_{M})_{M\ge 1}\ convergeant vers 0, il suit que, pour tout \ \scriptstyle k\ge 1\ , on peut choisir \ \scriptstyle M(k)>M(k-1)\ tel que

\mathbb{P}\left(V_{M(k)}>\tfrac1k\right) \le 2^{-k}.

Ainsi

\sum_{k}\mathbb{P}\left(V_{M(k)}>\tfrac1k\right)<+\infty,

et le lemme de Borel-Cantelli entraîne que, presque sûrement, à partir d'un certain rang, \ \scriptstyle V_{M(k)}\ est majorée par \ \scriptstyle \tfrac1k,\ et donc que \ \scriptstyle V_{M(k)}\ converge presque sûrement vers 0. Par ailleurs, on a vu plus haut que pour tout \ \scriptstyle \omega\ , \ \scriptstyle V_{M}(\omega)\ est une suite décroissante en \ \scriptstyle M.\ Une suite décroissante possédant une sous-suite convergente est elle-même convergente, donc \ \scriptstyle V_{M}\ converge presque sûrement vers 0. Or

\begin{align} \left\{\lim_{M}V_{M}(\omega)=0\right\}\ &\stackrel{{\scriptstyle\text{def.}}}{\Leftrightarrow}\ \left\{T_{n}(\omega)\text{ est une suite de Cauchy}\right\} \\ &\Leftrightarrow\ \left\{T_{n}(\omega)\text{ est une suite convergente}\right\} \\ &\Leftrightarrow\ \left\{\sum_{n}U_{n}(\omega)\ \mathrm{est~une~s\acute erie~convergente}\right\} \end{align}

C.Q.F.D.

5ème étape : Lemme de Kronecker

Lemme de Kronecker. — Soit une suite \ \scriptstyle \left(a_{n}\right)_{n\ge 1}\ de nombres strictement positifs, décroissante vers 0. Si \ \scriptstyle \sum_{n}a_{n}u_{n}\ est une série convergente, alors

\lim_{n}a_{n}\left(u_{1}+u_{2}+\cdots+u_{n}\right)=0.
Démonstration

La démonstration ci-dessous vaut seulement pour \ \scriptstyle a_{n}=n^{-\beta}\ , \ \scriptstyle \beta>0\ , mais la démonstration de la loi forte utilise le lemme de Kronecker pour \ \scriptstyle a_{n}=n^{-1}\ , \ \scriptstyle \beta=1\ . On peut trouver une démonstration générale du Lemme de Kronecker ici. Posons

b_{n}=a_{n}u_{n}=n^{-\beta}u_{n}\ \text{ et }\ b=\sum_{n\ge 1}b_{n}.

Alors

\begin{align} -a_{n}\left(u_{1}+u_{2}+\cdots+u_{n}\right)+\sum_{k=1}^na_{k}u_{k} &= -n^{-\beta}\sum_{k=1}^nu_{k}+\sum_{k=1}^nb_{k} \\ &= -\sum_{k=1}^n\left(\tfrac{k}{n}\right)^{\beta}b_{k}+\sum_{k=1}^nb_{k} \\ &= \sum_{k=1}^n\ \ b_{k}\int_{\tfrac{k}{n}}^1\,\beta x^{\beta-1}\,dx \\ &= \sum_{k=1}^n\ \ b_{k}\int_{0}^1\,\beta x^{\beta-1}1_{k\le nx}\,dx \\ &= \int_{0}^1\,\beta x^{\beta-1}\left(\sum_{1\le k\le nx}\ b_{k}\right)\,dx \end{align}

Comme la suite \ \scriptstyle \left(\sum_{1\le k\le n}\ b_{k}\right)_{n}\ est convergente, il existe un réel \ \scriptstyle M \ tel que

\forall n\ge 1,\ \left|\sum_{1\le k\le n}\ b_{k}\right|\le M.

Donc la suite de fonctions \ \scriptstyle (\phi_{n})_{n} \ définies sur \ \scriptstyle [0,1] \ par

\phi_{n}(x)=\sum_{1\le k\le nx}\ b_{k}

est une suite de fonctions uniformément bornées par \ \scriptstyle M \ (en valeur absolue). De plus, pour tout \ \scriptstyle x\in[0,1] \ ,

\lim_{n}\phi_{n}(x)=b\ 1_{x>0}.

Ainsi le théorème de convergence dominée de Lebesgue donne

\begin{align} \lim_{n}\int_{0}^1\,\beta x^{\beta-1}\left(\sum_{1\le k\le nx}\ b_{k}\right)\,dx &= b\ \int_{0}^1\,\beta x^{\beta-1}1_{x>0}\,dx \\ &= b. \end{align}

Comme on a \ \scriptstyle \lim_{n}\sum_{k=1}^nb_{k}=b \ , en observant le second terme de l'identité

-a_{n}\left(u_{1}+u_{2}+\cdots+u_{n}\right)+\sum_{k=1}^nb_{k} = \int_{0}^1\,\beta x^{\beta-1}\left(\sum_{1\le k\le nx}\ b_{k}\right)\,dx,

démontrée plus haut, on en déduit que

\lim_{n}a_{n}\left(u_{1}+u_{2}+\cdots+u_{n}\right)=0.

C.Q.F.D.

Cette démonstration est empruntée à Sydney Resnik, A probability path.

Pour conclure sa démonstration, Kolmogorov utilise le lemme de Kronecker avec \ \scriptstyle a_{n}=\tfrac{1}{n} \ , voir section suivante.

6ème étape : Conclusion dans le cas de variables centrées

Lemme 1. —  Avec les notations de l'étape "recentrage", on a

\sum_{k\ge 1}\ \text{Var}\left(\frac{Z_{k}}{k}\right)<+\infty.
Démonstration

Les calculs s'arrangent mieux si on remplace \ \scriptstyle k \ par \ \scriptstyle k+1 \ au dénominateur. Pour \ \scriptstyle k\ge 2 \ on a

\text{Var}\left(\frac{Z_{k}}{k+1}\right)\ = \ \frac{\mathbb{E}\left[X^{\prime 2}_{k}\right]}{(k+1)^2}\ - \ \frac{\mathbb{E}\left[X^{\prime}_{k}\right]^2}{(k+1)^2}.

Comme \ \scriptstyle \lim_{n} \mathbb{E}\left[X^{\prime}_{n}\right]=0 \ ,

\frac{\mathbb{E}\left[X^{\prime}_{k}\right]^2}{(k+1)^2}=o\left(\frac{1}{k^2}\right),

et la convergence de la série

\sum_{k}\ \text{Var}\left(\frac{Z_{k}}{k+1}\right)

est équivalente à la convergence de la série

\sum_{k}\ \frac{\mathbb{E}\left[X^{\prime 2}_{k}\right]}{(k+1)^2}.

Or

\begin{align} \sum_{k\ge 1}\ \frac{\mathbb{E}\left[X^{\prime 2}_{k}\right]}{(k+1)^2} &= \sum_{k\ge 1}\ (k+1)^{-2}\ \mathbb{E}\left[X^{2}_{1}\,1_{0<\left|X_{1}\right|\le k}\right] \\ &\le \sum_{k\ge 1}\ \int_{k}^{k+1}x^{-2}\ \mathbb{E}\left[X^{2}_{1}\,1_{0<\left|X_{1}\right|\le x}\right]\ dx \\ &= \int_{1}^{+\infty}x^{-2}\ \mathbb{E}\left[X^{2}_{1}\,1_{0<\left|X_{1}\right|\le x}\right]\ dx \\ &= \mathbb{E}\left[X^{2}_{1}\,1_{0<\left|X_{1}\right|}\ \int_{1}^{+\infty}x^{-2}\ 1_{\left|X_{1}\right|\le x}\ dx\right] \\ &\le \mathbb{E}\left[X^{2}_{1}\,1_{0<\left|X_{1}\right|}\ \int_{\left|X_{1}\right|}^{+\infty}\ x^{-2}\ dx\right] \\ &= \mathbb{E}\left[X^{2}_{1}\,1_{0<\left|X_{1}\right|}\left|X_{1}\right|^{-1}\right] \\ &= \mathbb{E}\left[\left|X_{1}\right|\right]\ <\ +\infty, \end{align}

par hypothèse.

Du Lemme 1 et de la Proposition 3, on déduit que, presque sûrement,

\text{la serie }\sum_{n\ge 1}\,\frac{Z_{k}(\omega)}{k}\text{ est convergente,}

puis, grâce au lemme de Kronecker, on déduit que, presque sûrement,

\lim_{n}\ \frac{C_{n}(\omega)}n\ =\ 0,

ce qui est équivalent à la loi forte des grands nombres (pour des variables centrées), comme on l'a vu aux étapes "troncature" et "recentrage".

7ème étape : décentrage

Si on ne suppose plus les \ \scriptstyle X_{n} \ centrées, mais seulement i.i.d. et intégrables, on pose

\hat{X}_{k}= X_{k}-\mathbb{E}\left[X_{k}\right],\ \ \hat{S}_{n}= \hat{X}_{1}+\hat{X}_{2}+\cdots+\hat{X}_{n},

et, les \ \scriptstyle \hat{X}_{n} \ étant centrées, i.i.d. et intégrables, la conclusion des étapes précédentes est que

\mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\frac{\hat{S}_{n}(\omega)}n=0\right.\right) = 1.

Mais

\begin{align} \frac{\hat{S}_{n}(\omega)}n &= \frac{S_{n}(\omega)-n\mathbb{E}\left[X_{1}\right]}n \\ &= \frac{S_{n}(\omega)}n\ -\ \mathbb{E}\left[X_{1}\right]. \end{align}

Donc

\mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\frac{\hat{S}_{n}(\omega)}n=0\right.\right) = \mathbb{P}\left(\omega\in\Omega\ \left|\ \lim_{n}\frac{S_{n}(\omega)}n=\mathbb{E}\left[X_{1}\right]\right.\right) .

C.Q.F.D.

Réciproque

Supposons que l'ensemble Ωc défini par

\Omega_c=\left\{\omega\in\Omega\ \left|\ \frac{S_{n}(\omega)}n \text{ est une suite convergente }\right.\right\}

est de probabilité 1. Notons \scriptstyle\ \ell(\omega)\ la limite de la suite ci-dessus, lorsqu'elle est définie, i.e. lorsqu' ω appartient à Ωc . L'ensemble Ωc est inclus dans l'ensemble suivant

\Omega_0=\left\{\omega\in\Omega\ \left|\ \lim_n\frac{|X_{n}(\omega)|}n=0\right.\right\}

puisque, lorsqu' ω appartient à Ωc , on a

\frac{X_{n}(\omega)}n\ =\ \frac{S_{n}(\omega)}n\ -\ \frac{n-1}n\,\frac{S_{n-1}(\omega)}{n-1}\ \rightarrow\ \ell(\omega)-\left(1\times\ell(\omega)\right)=0.

Ainsi, l'ensemble Ω0 lui aussi est de probabilité 1. Posons

A_n=\left\{\omega\in\Omega\ \left|\ |X_{n}(\omega)|>n\right.\right\}

La limite supérieure des An est disjointe de l'ensemble Ω0 , donc elle est de probabilité nulle. En vertu de la loi du zéro-un de Borel, on en déduit, puisque les événements An sont indépendants, que

+\infty>\sum_{n\ge 1}\mathbb{P}\left(|X_{n}|>n\right).

Par ailleurs, en toute généralité, comme on l'a vu lors de la première étape,

\sum_{n\ge 1}\mathbb{P}\left(|X_{n}|>n\right)\ =\ \sum_{n\ge 1}\mathbb{P}\left(|X_{1}|>n\right)\ =\ \mathbb{E}\left[\left\lceil|X_{1}|\right\rceil-1\right]\ \ge\ -1+\mathbb{E}\left[|X_{1}|\right].

Notes et références

  1. ↑ Émile Borel, « Les probabilités dénombrables et leurs applications arithmétiques », dans Rendiconti del Circolo Matematico di Palermo, vol. 27, no 1, décembre 1909, p. 247-271 (ISSN 0009-725X et 1973-4409) [texte intégral, lien DOI] .
  2. ↑ Classification et notation reprise de White (1984).


Voir aussi

Articles connexes

Références

  • (en) Halbert White, Asymptotic Theory for Econometricians, Orlando, Academic Press, 1984 (ISBN 978-0-12-746650-7) (LCCN 83010010), p. 228 
  • Sidney I. Resnick, A Probability Path [détail des éditions]

Liens externes

  • Portail des probabilités et des statistiques Portail des probabilités et des statistiques

Wikimedia Foundation. 2010.

Contenu soumis à la licence CC-BY-SA. Source : Article Loi forte des grands nombres de Wikipédia en français (auteurs)

Игры ⚽ Поможем решить контрольную работу

Regardez d'autres dictionnaires:

  • Loi Forte Des Grands Nombres — La loi forte des grands nombres est un énoncé mathématique énonçant la moyenne d une suite de variables aléatoires converge presque sûrement vers la même constante que l espérance de la moyenne, sous certaines conditions (sur la dépendance, sur l …   Wikipédia en Français

  • Loi forte des grands nombres — ● Loi forte des grands nombres loi que suit une suite de variables aléatoires si la moyenne de ces variables converge presque sûrement vers une variable aléatoire ou un nombre certain …   Encyclopédie Universelle

  • Loi faible des grands nombres — Loi des grands nombres En statistiques, la loi des grands nombres indique que lorsque l on fait un tirage aléatoire dans une série de grande taille, plus on augmente la taille de l échantillon, plus les caractéristiques statistiques de l… …   Wikipédia en Français

  • Loi Des Grands Nombres — En statistiques, la loi des grands nombres indique que lorsque l on fait un tirage aléatoire dans une série de grande taille, plus on augmente la taille de l échantillon, plus les caractéristiques statistiques de l échantillon se rapprochent des… …   Wikipédia en Français

  • Loi des grands nombres — En statistiques, la loi des grands nombres exprime le fait que les caractéristiques d un échantillon aléatoire se rapprochent d autant plus des caractéristiques statistiques de la population que la taille de l échantillon augmente. La taille de l …   Wikipédia en Français

  • Loi du zéro-un de Borel — La loi du zéro un de Borel a été publiée en 1909 dans l article Les probabilités dénombrables et leurs applications arithmétiques[1], par Émile Borel, en vue de la démonstration du théorème des nombres normaux, et en vue d applications aux… …   Wikipédia en Français

  • PROBABILITÉS (CALCUL DES) — Le calcul des probabilités est certainement l’une des branches les plus récentes des mathématiques, bien qu’il ait en fait trois siècles et demi d’existence. Après s’être cantonné dans l’étude des jeux de hasard, il s’est introduit dans presque… …   Encyclopédie Universelle

  • Liste des articles de mathematiques — Projet:Mathématiques/Liste des articles de mathématiques Cette page recense les articles relatifs aux mathématiques, qui sont liés aux portails de mathématiques, géométrie ou probabilités et statistiques via l un des trois bandeaux suivants  …   Wikipédia en Français

  • Projet:Mathématiques/Liste des articles de mathématiques — Cette page n est plus mise à jour depuis l arrêt de DumZiBoT. Pour demander sa remise en service, faire une requête sur WP:RBOT Cette page recense les articles relatifs aux mathématiques, qui sont liés aux portails de mathématiques, géométrie ou… …   Wikipédia en Français

  • Calcul des probabilités — Probabilité La probabilité (du latin probabilitas) est une évaluation du caractère probable d un évènement. En mathématiques, l étude des probabilités est un sujet de grande importance donnant lieu à de nombreuses applications. La probabilité d… …   Wikipédia en Français

Share the article and excerpts

Direct link
… Do a right-click on the link above
and select “Copy Link”