Principe de grandes déviations

Principe de grandes déviations

Le principe de grandes déviations, en théorie des probabilités, concerne le comportement asymptotique de queues de suite de loi de probabilités. Quelques premières idées de la théorie ont été données par Laplace et Cramér ; depuis, une définition formelle a été introduite en 1966 par Varadhan[1]. La théorie des grandes déviations formalise les idées heuristiques de la concentration des mesures et généralise la notion de convergence en loi.

La théorie des grandes déviations concerne la décroissance exponentielle des mesures de probabilité de certains types d'évènements extrêmes ou de queue, lorsque le nombre d'observations est arbitrairement grand.

Sommaire

Exemples introductifs

Un exemple élémentaire

Soit une suite de pile ou face indépendants (non biaisés). Notons par Xi le résultat du i-ième lancer, où face donne Xi = − 1 et pile donne Xi = 1. Soit MN la moyenne après N lancers, c'est-à-dire

 M_N := \frac{1}{N}\sum_{i=1}^{N} X_i.

Ainsi MN est compris entre -1 et 1. En utilisant la loi des grands nombres, on déduit que MN est de plus en plus proche de 0, avec une probabilité croissante, quand N est de plus en plus grand. Donnons une explication plus précise. Pour une valeur 0 < x < 1 fixée, calculons la probabilité P(MN > x). Définissons

 I(x) = \frac{1}{2}[(1+x)\log(1+x) + (1-x)\log(1-x)].

Alors, par l'inégalité de Chernoff, on peut montrer que P(MN > x) < exp( − NI(x)). Cette borne est optimale dans le sens où I(x) ne peut pas être remplacé par un nombre plus grand qui assurerait l'inégalité pour tout N strictement positif. (Bien que la borne exponentielle peut toujours être réduite à un facteur sous-exponentiel près de l'ordre de  1/\sqrt N .) La probabilité  \scriptstyle P(M_N > x) décroit exponentiellement rapidement quand N est grand, à une vitesse dépendant de x.

Grandes déviations pour des sommes de variables aléatoires indépendantes

Dans l'exemple ci-dessus avec des lancers de pièces, chaque lancer est indépendant des autres, et les probabilités sont les mêmes pour chaque lancer. Autrement dit, les variables aléatoires Xi sont i.i.d. (indépendantes et identiquement distribuées). Pour des variables i.i.d. dont la loi commune vérifie une certaine condition de croissance, la théorie des grandes déviations assure que la limite suivante existe :

\lim_{N\to \infty} \frac{1}{N} \log P(M_N > x) = - I(x)

La fonction I(x) est appelée la "fonction de taux (en)" ou "fonction de Cramér" ou parfois "entropie". L'existence d'une telle limite donne la décroissance exponentielle mentionnée précédemment et implique que, pour N grand, P(MN > x) est de la forme :

 P(M_N >x) \approx \exp[-NI(x) ].

Remarquons que l'inégalité donnée dans le premier paragraphe, comparée à cette formule asymptotique, n'est plus valide dans des cas plus généraux.

Dans le cas i.i.d., si la loi de probabilité des variables Xi est connue, il existe une expression explicite de la fonction de taux, donnée par la transformée de Cramér définie par

I(x) = sup θ > 0x − λ(θ)],

où la fonction λ(θ) est appelée fonction génératrice des cumulants, donnée par

 \lambda(\theta) = \log E[\exp(\theta X)] \, .

Ici,  \scriptstyle E[\,] est l'espérance par rapport à la loi de probabilité de Xi et X est l'un des Xi. Si la loi de X est normale, la fonction de taux est une parabole.

Si la condition i.i.d. est affaiblie, en particulier si les variables Xi ne sont pas indépendantes mais satisfont la propriété de Markov, le résultat de grandes déviations précédent peut être généralisé.

Définition formelle

Soit X un espace polonais et \scriptstyle \{ \mathbb{P}_N\} une suite de mesures de probabilités sur X, soit \scriptstyle \{a_N\} une suite de nombres réels strictement positifs telle que \scriptstyle \lim_N a_N=+\infty, et finalement, soit \scriptstyle I:X\to [0,+\infty] une fonction semi-continue inférieurement sur X. La suite \scriptstyle \{ \mathbb{P}_N\} vérifie le principe de grandes déviations avec une vitesse \scriptstyle \{a_n\} et un taux I, si et seulement si pour tout ensemble borélien mesurable \scriptstyle E \subset X

 -\inf_{x \in E^\circ} I(x) \le \varliminf_N a_N^{-1} \log\big(\mathbb{P}_N(E)\big) \le  \varlimsup_N a_N^{-1} \log\big(\mathbb{P}_N(E)\big) \le -\inf_{x \in \bar{E}} I(x)

\scriptstyle \bar{E} et \scriptstyle E^\circ désignent respectivement l'adhérence et l'intérieur de E.

Espace de Banach

Théorème (démontré par Donsker et Varadhan[2] en 1976)

Soient X un espace de Banach séparable, \scriptstyle  \mathbb{P} une loi de probabilité sur X qui admet des moments exponentiels finis, \scriptstyle  (X_i)_{i>1} des variables aléatoires i.i.d. de loi \scriptstyle  \mathbb{P} et de moyenne  \scriptstyle M_N=\frac{1}{N}\sum_{i=1}^N X_i . Alors pour tout borélien E de X,

 -\inf_{x \in X^\circ} I(x) \le \varliminf_N \frac{1}{N} \log \mathbb{P}(M_N \in E)  \le  \varlimsup_N \frac{1}{N} \log \mathbb{P}(M_N \in E) \le -\inf_{x \in \bar{E}} I(x)

I est la transformée de Cramér (ou transformée de Legendre ou transformée de Fenchel-Legendre) définie par

I(x) = \sup_{\theta > 0} \left[\theta x -  \log E[\exp(\theta X)]\right].

Court historique

Les premiers résultats rigoureux concernant les grandes déviations sont dus au mathématicien suédois Harald Cramér, qui les a appliqués pour modéliser les problèmes d'assurance. Du point de vue des compagnies d'assurances, les revenus sont à taux constant par mois (les mensualités), mais les dépenses sont aléatoires. Pour que la compagnie soit bénéficiaire après une durée de plusieurs mois, la somme totale de revenus doit être supérieure aux dépenses totales. Ainsi pour estimer les mensualités, vous devez vous demander : "Quelles mensualités q devons-nous choisir pour que, après N mois, les dépenses totales C = ΣXi soient inférieures à Nq ?" Ce qui est clairement la même question posée par la théorie des grandes déviations. Cramér a donné une solution à cette question pour des variables aléatoires i.i.d avec une fonction de taux sous forme de série entière. Les résultats cités ci-dessus ont été obtenus plus tard par Herman Chernoff (en) ainsi que d'autres personnes. Donnons une liste incomplète de mathématiciens qui ont faits d'importantes avancées : S.R.S. Varadhan (qui a obtenu le prix Abel), D. Ruelle et O.E. Lanford.

Applications

Les principes des grandes déviations peuvent effectivement être appliqués pour récupérer des informations d'un modèle probabiliste. Ainsi la théorie des grandes déviations trouve des applications dans la théorie de l'information et la gestion du risque. En physique, l'application la plus connue de la théorie des grandes déviations est en thermodynamique et en mécanique statistique (en connexion avec l'entropie correspondant à la fonction de taux).

Estimer des déviations

La moyenne \scriptstyle M_N=\frac{1}{N}\sum_{i=1}^{N} X_i est appelée la moyenne empirique des variables i.i.d. \scriptstyle X_i . Notons \scriptstyle  m=\mathbb E[ X_i] la vraie moyenne. Par la loi des grands nombres, pour tout \scriptstyle \delta >0, on obtient

 \lim_{N\rightarrow \infty}\mathbb P(|M_N-m|>\delta)=0.

Ainsi l'évènement \scriptstyle \left\{ |M_N-m|>\delta \right\} (noté \scriptstyle \left\{ M_N\in E \right\} dans la définition formelle) décrit la déviation entre MN et m.

Cas de la loi normale
Si \scriptstyle X_i sont les variables aléatoires i.i.d. de loi normale centrée réduite \scriptstyle \mathcal N(0,1) alors \scriptstyle M_N est de loi \scriptstyle \mathcal N(0,\frac{1}{N}). Ainsi

 \mathbb P(|M_N|>\delta)=1-\frac{1}{\sqrt{2}}\int_{-\delta\sqrt{n}}^{\delta\sqrt{n}}e^{-\frac{x^2}{2}}dx,

Les grandes déviations sont alors données par :

\lim_{N\rightarrow \infty}\frac{1}{N}\log \mathbb P(|M_N|>\delta)= -\frac{\sigma^2}{2} .

Cela signifie que \scriptstyle |M_N| dévie de son comportement typique en prenant de grandes valeurs avec une (faible) probabilité d'ordre de \scriptstyle exp(-N\delta^2/2).

Grandes déviations et entropie

La fonction de taux est reliée à l'entropie en mécanique statistique. Ceci peut être heuristiquement vu de la façon suivante. En mécanique statistique, l'entropie d'un état macroscopique particulier est associé au nombre d'état microscopiques qui correspondent à cet état macroscopique. Dans notre exemple de lancer de pièce, la moyenne MN peut désigner un état macroscopique particulier. Et la suite de pile ou face qui donne une valeur de MN constitue un état microscopique particulier le composant. Plus simplement, un état macroscopique ayant un grand nombre d'états microscopiques le composant a une grande entropie. Et un état avec une grande entropie a plus de chance d'être réalisé. L'état macroscopique de moyenne nulle (autant de pile que de face) a la plus grand nombre d'état microscopiques le composant et est l'état avec la plus grande entropie. D'un autre côté, La fonction de taux mesure la probabilité d'apparition d'un état macroscopique particulier. Plus la fonction de taux est petite, plus l'état macroscopique a de chance d'apparaitre. Dans notre pile ou face, la fonction de taux vaut 0 en 0. Dans ce cas, on peut assimiler la fonction de taux à l'opposé de l'entropie.

Note et bibliographie

Note

  1. (en) S.R.S. Varadhan, Asymptotic probability and differential equations, Communications on Pure and Applied Mathematics, 19 (1966),261-286.
  2. R. Azencott, Grandes deviations et applications , Ecole d’Eté de Probabilités de Saint-Flour VIII-1978, Lecture Notes in Mathematics, 1980, Volume 774/1980, 1-176, DOI: 10.1007/BFb0089623

Bibliographie (en anglais)

  • S. R. S. Varadhan, Special invited paper: Large deviations, The Annals of Probability 2008, Vol. 36, No. 2, 397–419 DOI: 10.1214/07-AOP348
  • Richard S. Ellis, Entropy, Large Deviations and Statistical Mechanics, Springer Publication. ISBN 3-540-29059-1
  • Alan Weiss (en) et Adam Shwartz, Large Deviations for Performance Analysis, Chapman and Hall ISBN 0-412-06311-5
  • Amir Dembo et Ofer Zeitouni, Large Deviations Techniques and Applications, Springer ISBN 0-387-98406-2
  • Mark I. Freidlin et Alexander D. Wentzell., Random Perturbations of Dynamical Systems, Springer ISBN 0-387-98362-7

Voir également

Article connexe

Liens externes


  • Portail des probabilités et des statistiques Portail des probabilités et des statistiques

Wikimedia Foundation. 2010.

Contenu soumis à la licence CC-BY-SA. Source : Article Principe de grandes déviations de Wikipédia en français (auteurs)

Игры ⚽ Нужен реферат?

Regardez d'autres dictionnaires:

  • Projet:Mathématiques/Liste des articles de mathématiques — Cette page n est plus mise à jour depuis l arrêt de DumZiBoT. Pour demander sa remise en service, faire une requête sur WP:RBOT Cette page recense les articles relatifs aux mathématiques, qui sont liés aux portails de mathématiques, géométrie ou… …   Wikipédia en Français

  • Harald Cramér — Pour les articles homonymes, voir Cramer. Harald Cramér Harald Cramér, né le 25 septembre 1893 et mort le 5 octobre 1985, e …   Wikipédia en Français

  • Condition de Murgenthal — Correction des eaux du Jura Localisation de la région : en rouge les canaux créés dans le cadre de la correction. La correction des eaux du Jura est une vaste entreprise d aménagements hydrauliques réalisée en Suisse dans la région des trois …   Wikipédia en Français

  • Correction Des Eaux Du Jura — Localisation de la région : en rouge les canaux créés dans le cadre de la correction. La correction des eaux du Jura est une vaste entreprise d aménagements hydrauliques réalisée en Suisse dans la région des trois lacs de Neuchâtel, Morat et …   Wikipédia en Français

  • Correction des eaux du Jura — Localisation de la région : en rouge les canaux créés dans le cadre de la correction. La correction des eaux du Jura est une vaste entreprise d aménagements hydrauliques réalisée en Suisse dans la région des trois lacs de Neuchâtel, Morat et …   Wikipédia en Français

  • Correction des eaux du jura — Localisation de la région : en rouge les canaux créés dans le cadre de la correction. La correction des eaux du Jura est une vaste entreprise d aménagements hydrauliques réalisée en Suisse dans la région des trois lacs de Neuchâtel, Morat et …   Wikipédia en Français

  • M. D. Donsker — Monroe David Donsker (1925 à Burlington 1991 à New York) est un mathématicien américain. Ses sujets de recherche étaient concentrés dans le domaine de la théorie des probabilités[1]. Sommaire 1 Biographie 2 Contributions …   Wikipédia en Français

  • MAROC — Le Maroc, pays du soleil couchant, Maghrib al ‘aq ル , offre, dans l’ensemble de l’Afrique du Nord, une histoire originale. Il la doit sans doute à la puissante personnalité de ses peuples restés tout au long des siècles moins marqués des… …   Encyclopédie Universelle

  • AÉRODYNAMIQUE — L’aérodynamique, dont l’étymologie évoque immédiatement l’action de l’air en mouvement, est la science qui étudie les différents aspects de cette action, notamment les forces, pressions et moments qui résultent du déplacement des corps dans… …   Encyclopédie Universelle

  • SOCIALISME - Mouvement communiste et question nationale — C’est en Europe centrale que le problème national s’est posé avec le plus d’acuité au mouvement ouvrier et marxiste au XIXe et au début du XXe siècle. S’il est au centre des débats à l’issue de la révolution de 1905, qui fut le théâtre privilégié …   Encyclopédie Universelle

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”