Inégalité d'Azuma

Inégalité d'Azuma

L’inégalité d'Azuma, parfois appelée inégalité d'Azuma-Hoeffding, est une inégalité de concentration concernant les martingales dont les accroissements sont bornés. C'est une généralisation de l'inégalité de Hoeffding, une inégalité de concentration ne concernant, elle, que les sommes de variables aléatoires indépendantes et bornées.

Sommaire

Énoncé courant

Un des énoncés les plus courants est

Inégalité d'Azuma — Soit une martingale \scriptstyle\ M=(M_t)_{0\le t\le m}\ par rapport à une filtration \scriptstyle\ \mathcal{F}=(\mathcal{F}_0=\{\Omega,\varnothing\}\subset\mathcal{F}_1\subset\mathcal{F}_2\subset\dots\subset\mathcal{F}_m)\ et vérifiant

\forall t\in[\![1,m]\!],\qquad \mathbb{P}(|M_t-M_{t-1}|\le 1)=1.

Alors, pour tout \scriptstyle\ \lambda>0,\

\begin{align} \mathbb{P}\left(M_m-\mathbb{E}[M_m]\ge \lambda\right) &\le\exp\left(-\frac{\lambda^2}{2m}\right), \\ \mathbb{P}\left(M_m-\mathbb{E}[M_m]\le -\lambda\right) &\le\exp\left(-\frac{\lambda^2}{2m}\right), \\ \mathbb{P}\left(\left|M_m-\mathbb{E}[M_m]\right|\ge \lambda\right) &\le 2\exp\left(-\frac{\lambda^2}{2m}\right). \end{align}

Notons que le choix \scriptstyle\ \mathcal{F}_0=\{\Omega,\varnothing\}\ entraine que \scriptstyle\ M_0=\mathbb{E}[M_m].\

Énoncé général

Un énoncé plus général (McDiarmid, Théorème 6.7) est le suivant

Théorème — Soit une martingale \scriptstyle\ M=(M_t)_{0\le t\le m}\ par rapport à une filtration \scriptstyle\ \mathcal{F}=(\mathcal{F}_0=\{\Omega,\varnothing\}\subset\mathcal{F}_1\subset\mathcal{F}_2\subset\dots\subset\mathcal{F}_m).\ Supposons qu'il existe une suite \scriptstyle\ (Z_k)_{1\le k\le m}\ de variables aléatoires et une suite \scriptstyle\ (\ell_k)_{1\le k\le m}\ de constantes telles que, pour tout \scriptstyle\ k\in[\![1,m]\!],\

  • \scriptstyle\ Z_k\ soit \scriptstyle\ \mathcal{F}_{k-1}\ -mesurable ;
  • \scriptstyle\ \mathbb{P}(Z_{k}\le M_{k}\le Z_{k}+\ell_{k})=1.

Alors, pour tout \scriptstyle\ \lambda>0,\

\begin{align} \mathbb{P}\left(M_m-\mathbb{E}[M_m]\ge \lambda\right) &\le\exp\left(-\frac{2\lambda^2}{\sum_{i=1}^m\ell_i^2}\right), \\ \mathbb{P}\left(M_m-\mathbb{E}[M_m]\le -\lambda\right) &\le\exp\left(-\frac{2\lambda^2}{\sum_{i=1}^m\ell_i^2}\right), \\ \mathbb{P}\left(\left|M_m-\mathbb{E}[M_m]\right|\ge \lambda\right) &\le 2\exp\left(-\frac{2\lambda^2}{\sum_{i=1}^m\ell_i^2}\right). \end{align}

L'énoncé courant, donné à la section précédente, est obtenu en spécialisant l'énoncé général aux choix \scriptstyle\ \ell_k=2,\ Y_k=-1+M_{k-1}.\

Démonstration

La démonstration est analogue à celle de l'inégalité de Hoeffding : on pose

\begin{align} Y_{i}&=M_{i}-M_{i-1}, \\ c_{i}&=Z_{i}-M_{i-1},\quad d_{i}=Z_{i}-M_{i-1}+\ell_i, \end{align}

et on remarque que

\begin{align} \mathbb{P}\left(c_i\le Y_i\le d_i\right)&=1, \\ d_{i}-c_{i}&=\ell_{i}, \\ M_{m}-\mathbb{E}[M_{m}]&=Y_{1}+Y_{2}+\dots+Y_{m}. \end{align}

Pour tout \scriptstyle\ s>0,\ on a donc, en vertu de l'inégalité de Markov :

\begin{align} \mathbb{P}\left(M_{m}-\mathbb{E}[M_{m}]\ge \lambda\right) &\le\mathbb{E}\left[e^{s(M_{m}-\mathbb{E}[M_{m}])}\right]e^{-s\lambda} \\ &=\mathbb{E}\left[e^{s(Y_{1}+Y_{2}+\dots+Y_{m})}\right]e^{-s\lambda} \end{align}

On remarque alors que

\begin{align} \mathbb{E}\left[e^{sY_{m}}\left|\mathcal{F}_{m-1}\right.\right] &\le\exp\left(s^2\ell_m^2/8\right), \end{align}

en vertu de l'inégalité suivante (qui est le premier pas de la démonstration de l'inégalité de Hoeffding) :

Proposition —  Soit \scriptstyle\ Y\ une variable aléatoire réelle bornée et centrée (vérifiant \scriptstyle\ \mathbb{E}[Y]=0\ ). Soit \scriptstyle\ c,\, d \ deux nombres réels tels que \scriptstyle\ c<d\ et tels que \scriptstyle\ \mathbb{P}(c\le Y\le d)=1.\ Alors, pour tout réel \scriptstyle\ s>0,\

\mathbb{E}\left[e^{sY}\right]\le\exp\left(s^2(d-c)^2/8\right).

En effet

\begin{align} \mathbb{E}\left[Y_{m}\left|\mathcal{F}_{m-1}\right.\right]&=0, \\ \mathbb{P}\left(c_{m}\le Y_{m}\le c_{m}+\ell_m\left|\mathcal{F}_{m-1}\right.\right)&=1, \end{align}

et la variable aléatoire \scriptstyle\ c_{m},\ étant \scriptstyle\ \mathcal{F}_{m-1}\ -mesurable, fonctionne comme une constante, du moins à l'intérieur d'une espérance conditionnelle par rapport à la tribu \scriptstyle\ \mathcal{F}_{m-1}.\ Ainsi

\begin{align} \mathbb{E}\left[e^{s(Y_{1}+Y_{2}+\dots+Y_{m})}\right] &=\mathbb{E}\left[\mathbb{E}\left[e^{s(Y_{1}+Y_{2}+\dots+Y_{m})}\left|\mathcal{F}_{m-1}\right.\right]\right] \\ &=\mathbb{E}\left[e^{s(Y_{1}+Y_{2}+\dots+Y_{m-1})}\ \mathbb{E}\left[e^{sY_{m}}\left|\mathcal{F}_{m-1}\right.\right]\right] \\ &\le\mathbb{E}\left[e^{s(Y_{1}+Y_{2}+\dots+Y_{m-1})}\right]\ e^{s^2\ell_m^2/8} \\ &\le\exp\left((\sum_{i=1}^m\ell_i^2)s^2/8\right), \end{align}

la dernière inégalité étant obtenue par récurrence. On obtient ainsi la même inégalité intermédiaire que dans la démonstration de l'inégalité de Hoeffding, et on termine donc la démonstration de la même manière que pour l'inégalité de Hoeffding.

Principe de Maurey

Le principe de Maurey a été énoncé pour la première fois par Maurey dans une note au Compte rendus de l'Académie des Sciences en 1979, et découvert plus tard, semble-t-il indépendamment, par Harry Kesten, en théorie de la percolation. Il est d'usage fréquent en théorie des graphes aléatoires, dans l'analyse des algorithmes randomisés, et en théorie de la percolation. Il est parfois appelé method of bounded differences ou MOBD.

Énoncé

Soit deux ensembles A et B et soit \scriptstyle\ \Omega=A^B\ l'ensemble des applications de B dans A. On se donne une filtration \scriptstyle\ \mathcal{B}\ =\ (B_0=\varnothing\,\subset\,B_1\,\subset\,B_2\,\subset\dots\subset\,B_m=B).\

Définition — Une application \scriptstyle\ X\,:\,\Omega\rightarrow\mathbb{R}\ est dite \scriptstyle\ \mathcal{B}-lipshitzienne si, pour tout \scriptstyle\ t\in[\![1,m]\!]\ et pour tout \scriptstyle\ (\omega,\tilde\omega)\in\,\Omega,\ on a l'implication :

\left\{\omega_{|(B_{t}\backslash B_{t-1})^{c}}\equiv\tilde\omega_{|(B_{t}\backslash B_{t-1})^{c}}\right\}\quad\Rightarrow\quad\left\{\left|X(\omega)-X(\tilde\omega)\right|\le 1\right\}.

Autrement dit, si les deux applications coincident à l'intérieur de \scriptstyle\ B_{t-1}\ et à l'extérieur de \scriptstyle\ B_{t}\ (i.e. dans les zones vertes et bleues de la figure ci-dessous), alors X varie peu de l'une à l'autre.

Principe de Maurey et condition de Lipschitz.

Théorème — On suppose \scriptstyle\ \Omega\ muni d'une structure \scriptstyle\ (\Omega,\mathcal{A},\mathbb{P})\ d'espace probabilisé telle que les images \scriptstyle\ (\omega(b))_{b\in B}\ forment une famille de variables aléatoires indépendantes. On suppose également que la variable aléatoire réelle X, définie sur \scriptstyle\ (\Omega,\mathcal{A},\mathbb{P})\ , est \scriptstyle\ \mathcal{B}-lipshitzienne. Alors, pour tout \scriptstyle\ \lambda>0,\

\begin{align} \mathbb{P}\left(X-\mathbb{E}[X]\ge \lambda\right) &\le\exp\left(-\frac{\lambda^2}{2m}\right), \\ \mathbb{P}\left(X-\mathbb{E}[X]\le -\lambda\right) &\le\exp\left(-\frac{\lambda^2}{2m}\right), \\ \mathbb{P}\left(\left|X-\mathbb{E}[X]\right|\ge \lambda\right) &\le 2\exp\left(-\frac{\lambda^2}{2m}\right). \end{align}
Démonstration

On considère la filtration filtration \scriptstyle\ \mathcal{F}=(\mathcal{F}_0=\{\Omega,\varnothing\}\subset\mathcal{F}_1\subset\mathcal{F}_2\subset\dots\subset\mathcal{F}_m)\ définie, pour \scriptstyle\ 1\le t\le m,\ par

\mathcal{F}_t=\sigma\left(\omega(b)\ |\ b\in B_{t}\right).

Pour \scriptstyle\ 0\le t\le m,\ on pose

M_t=\mathbb{E}\left[X\left|\ \mathcal{F}_t\right.\right].

Ainsi \scriptstyle\ \left(M_t\right)_{0\le t\le m}\ est une martingale, et \scriptstyle\ M_0=\mathbb{E}\left[X\right],\ \scriptstyle\ M_m=X.\ Pour pouvoir appliquer l'inégalité d'Azuma, il ne reste plus qu'à démontrer que "les différences sont bornées". Pour cela on note, pour \scriptstyle\ 1\le t\le m,

  • \scriptstyle\ \omega_{1} la restriction de \scriptstyle\ \omega à \scriptstyle\ C_{1}=B_{t-1},\
  • \scriptstyle\ \omega_{2} la restriction de \scriptstyle\ \omega à \scriptstyle\ C_{2}=B_{t}\backslash B_{t-1},\
  • \scriptstyle\ \omega_{3} la restriction de \scriptstyle\ \omega à \scriptstyle\ C_{3}=B_{t}^{c},\ voir figure ci-dessus.

Comme les \scriptstyle\ C_{i},\ \scriptstyle\ 1\le i\le 3,\ forment une partition de B, il en résulte, d'une part, que \scriptstyle\ \omega est en correspondance bijective avec le triplet \scriptstyle\ (\omega_{1},\,\omega_{2},\, \omega_{3})\ , d'autre part qu'en vertu du lemme de regroupement le triplet \scriptstyle\ (\omega_{1},\,\omega_{2},\, \omega_{3})\ est un triplet de variables aléatoires indépendantes. Notons \scriptstyle\ \mathbb{P}_{i}\ la loi de probabilité de \scriptstyle\ \omega_{i},\ qui est une mesure de probabilité sur \scriptstyle\ A^{C_{i}}.\ On a alors

\begin{align} \mathbb{E}\left[X\left|\ \mathcal{F}_t\right.\right](\omega) &=\int_{A^{C_{3}}} X(\omega_{1},\,\omega_{2},\, w_{3}) \mathbb{P}_{3}(dw_{3}), \\ &=\int_{A^{C_{3}}} \left(\int_{A^{C_{2}}} X(\omega_{1},\,\omega_{2},\, w_{3}) \mathbb{P}_{2}(dw_{2})\right)\mathbb{P}_{3}(dw_{3}). \\ \mathbb{E}\left[X\left|\ \mathcal{F}_{t-1}\right.\right](\omega) &=\int_{A^{C_{3}}} \left(\int_{A^{C_{2}}} X(\omega_{1},\,w_{2},\, w_{3}) \mathbb{P}_{2}(dw_{2})\right)\mathbb{P}_{3}(dw_{3}). \end{align}

Ainsi

\begin{align} \left|M_t(\omega)-M_{t-1}(\omega)\right| &=\left|\int_{A^{C_{3}}} \left(\int_{A^{C_{2}}} \left(X(\omega_{1},\omega_{2},\, w_{3})-X(\omega_{1},\,w_{2},\, w_{3}) \right)\mathbb{P}_{2}(dw_{2})\right)\mathbb{P}_{3}(dw_{3})\right| \\ &\le\int_{A^{C_{3}}} \left(\int_{A^{C_{2}}} \left|X(\omega_{1},\omega_{2},\, w_{3})-X(\omega_{1},\,w_{2},\, w_{3}) \right|\mathbb{P}_{2}(dw_{2})\right)\mathbb{P}_{3}(dw_{3}). \end{align}

Mais les deux triplets \scriptstyle\ (\omega_{1},\omega_{2},\, w_{3})\ et \scriptstyle\ (\omega_{1},\,w_{2},\, w_{3})\ déterminent deux applications de B dans A qui ne diffèrent qu'au niveau de leurs restrictions à \scriptstyle\ C_{2}=B_{t}\backslash B_{t-1},\ (leurs restrictions sont \scriptstyle\ \omega_{2}\ et \scriptstyle\ w_{2},\ respectivement). Ainsi, X étant \scriptstyle\ \mathcal{B}-lipshitzienne,

\left|X(\omega_{1},\omega_{2},\, w_{3})-X(\omega_{1},\,w_{2},\, w_{3}) \right|\le 1.

Par conséquent

\left|M_t(\omega)-M_{t-1}(\omega)\right|\le 1.

Application à un modèle d'urnes et de boules

Dans cet exemple, l'intérêt d'une inégalité de concentration précise est de justifier une méthode statistique de comptage approximatif[1] pouvant servir, par exemple, à déceler une attaque de virus informatique.

Une inégalité de concentration

On jette m boules au hasard dans n boites, expérience probabiliste dont un évènement élémentaire \scriptstyle\ \omega\ est décrit par une application de \scriptstyle\ B=[\![1,m]\!]\ dans \scriptstyle\ A=[\![1,n]\!]\  : \scriptstyle\ \omega(k)\ est le numéro de la boite dans laquelle est rangée la boule numéro k. Ainsi les \scriptstyle\ \omega(k)\ sont bien des variables aléatoires indépendantes, et, accessoirement, des variables aléatoires uniformes. Considérons l'application X, qui, à une distribution \scriptstyle\ \omega\ de m boules dans n boites, associe le nombre \scriptstyle\ X(\omega)\ de boites vides à la fin de cette distribution \scriptstyle\ \omega.\ On peut calculer l'espérance de X aisément à l'aide d'une décomposition de X en somme de variables de Bernoulli. On trouve alors que

\mathbb{E}[X]\ =\ n\left(1-\tfrac1n\right)^m.

Pour le choix \scriptstyle\ B_{t}=[\![1,t]\!],\ l'application X est \scriptstyle\ \mathcal{B}-lipshitzienne : en effet, si, d'une distribution à une autre, seule la place de la boule n°t change (\scriptstyle\ B_t\backslash B_{t-1}= \{t\}\ est réduit au seul élément t ), alors le nombre de boites vides varie d'au plus une unité. Ainsi, en vertu du principe de Maurey,

\begin{align} \mathbb{P}\left(\left|X-n\left(1-\tfrac1n\right)^{m}\right|\ge \lambda\right) &\le 2\exp\left(-\frac{\lambda^2}{2m}\right). \end{align}

Une inégalité plus précise[2] est obtenue en appliquant la forme générale de l'inégalité d'Azuma.

Un problème de comptage approché

Il s'agit d'estimer le nombre m d'utilisateurs différents, identifiés, à un nœud du réseau, par l'entête du paquet de données qu'ils envoient. L'idée est qu'une attaque de virus ne se traduit pas par une augmentation décelable du volume du trafic (le gros du volume étant fourni, par exemple, par des téléchargements de fichiers, lesquels sont scindés en nombreux paquets qui ont tous la même entête, caractérisant le même utilisateur), mais par une augmentation drastique du nombre d'utilisateurs différents, à cause d'un envoi massif et concerté de mails (tous de petit volume, comparés à des téléchargements).

Chaque fois qu'un paquet de données est reçu à un nœud du réseau, l'utilisateur b émetteur du paquet est reconnu à l'aide de l'entête \scriptstyle\ \mathcal{E}_{b}\ du paquet de données (une suite de longueur L de 0 et de 1). Cette entête \scriptstyle\ \mathcal{E}_{b}\ est hachée, i.e. transformée en un nombre \scriptstyle\ U(\mathcal{E}_{b})\ aléatoire uniforme sur l'intervalle [0,1] : cette transformation (la fonction de hachage) est conçue de telle sorte que m paquets émis par m utilisateurs différents produisent m entêtes différentes \scriptstyle\ \left(\mathcal{E}_{b}\right)_{1\le b\le m}\ et, après hachage de ces entêtes, produisent une suite \scriptstyle\ \left(U_{b}\right)_{1\le b\le m}\ de m variables aléatoires indépendantes et uniformes sur l'intervalle [0,1]. Par contre \scriptstyle\ \ell\ paquets émis par le même utilisateur b produisent \scriptstyle\ \ell\ fois la même entête \scriptstyle\ \mathcal{E}_{b}\ , et \scriptstyle\ \ell\ hachages successifs de cette entête produisent une suite de \scriptstyle\ \ell\ valeurs aléatoires identiques, toutes égales au même nombre tiré au hasard, une fois pour toutes, uniformément sur l'intervalle [0,1].

On reçoit un grand nombre (P) de paquets en un laps de temps très court. On dispose seulement de n cases mémoires et on veut compter le nombre m d'utilisateurs différents émetteurs de ces paquets. Par manque de place mémoire, il est impossible de stocker au fur et à mesure les entêtes des paquets déjà reçus, et par manque de temps il serait impossible de tester si une nouvelle entête reçue fait partie de la liste des entêtes déjà récoltées. Un calcul exact de m est donc impossible. On se donne alors n cases, numérotées de 1 à n, considérées comme libres, ou bien occupées. Au départ toutes les cases sont considérées comme libres. A chaque paquet reçu, l'entête correspondante est hachée, produisant un nombre U aléatoire uniforme sur [0,1], et la case n°\scriptstyle\ \lceil nU\rceil\ est marquée occupée, quel qu'ait été son statut antérieur. Qu'une entête apparaisse une fois ou 10 000 fois, le résultat sera le même : c'est, du fait de cette entête, le même nombre aléatoire U qui sera engendré et la même case n°\scriptstyle\ \lceil nU\rceil\ qui sera marquée occupée.

Ainsi l'état de l'ensemble des n cases après réception des P paquets ne dépend pas du volume P du trafic, mais uniquement de la suite des m entêtes hashées \scriptstyle\ (U_{b})_{1\le b\le m}\ correspondant aux m utilisateurs différents. Plus précisément, le nombre X de cases libres à la fin du processus a même loi que dans le problème de boites et de boules évoqué à la section précédente. L'inégalité de concentration assure que, pour n et m assez grands, avec une forte probabilité, l'approximation de \scriptstyle\ \mathbb{E}[X]\ par X, c'est-à-dire :

\frac{X}{n}\ \simeq\ \left(1-\tfrac1n\right)^{m}\ \simeq\ e^{-m/n}

est assez précise pour permettre de reconstituer le ratio r=m/n, et, partant de là, le nombre m d'utilisateurs différents, inconnu jusque là, en fonction de X et de n, qui sont connus : on choisit comme approximation de r le nombre \scriptstyle\ -\ln(X/n).\ Dans cette situation particulière, on sera satisfait si la précision de l'approximation permet de déceler un changement brutal de la valeur de m d'un moment à l'autre, changement annonciateur d'une attaque de virus : pour cela, une approximation grossière de m devrait suffire.

Voir aussi

Notes

  1. ↑ proposée par (en) Kyu-Young Whang et Ravi Krishnamurthy, « Query optimization in a memory-resident domain relational calculus database system », dans ACM Transactions on Database Systems (TODS), New York, NY, USA, ACM, vol. 15, no 1, mars 1990, p. 67–95 (ISSN 0362-5915) [texte intégral] 
  2. ↑ (en) Rajeev Motwani et Prabhakar Raghavan, Randomized Algorithms, Cambridge ; New York, [University Press], août 1995, 1re éd., 476 p. (ISBN 9780521474658), chap. 4 (« Tail inequalities »), p. 94–95 , Théorème 4.18.

Bibliographie

  • N. Alon & J. Spencer, The Probabilistic Method. Wiley, New York 1992.
  • K. Azuma, "Weighted Sums of Certain Dependent Random Variables". Tôhoku Math. Journ. 19, 357–367 (1967)
  • Erreur dans la syntaxe du modèle Article(ru) Sergei N. Bernstein (trad. On certain modifications of Chebyshev's inequality), «  », dans Doklady Akademii Nauk SSSR, vol. 17, no 6, 1937, p. 275–277 
  • C. McDiarmid, On the method of bounded differences. In Surveys in Combinatorics, London Math. Soc. Lectures Notes 141, Cambridge Univ. Press, Cambridge 1989, 148–188.
  • W. Hoeffding, "Probability inequalities for sums of bounded random variables", J. Amer. Statist. Assoc. 58, 13–30, 1963
  • B. Maurey , Constructions de suites symétriques. CR Acad. Sci. Paris, Série A–B 288 (1979), pp. 679–681.

Pour aller plus loin,

  • S. Boucheron, G. Lugosi, P. Massart, Concentration inequalities using the entropy method, Annals of Probability, 2003.

Pages liées

  • Portail des probabilités et des statistiques Portail des probabilités et des statistiques

Wikimedia Foundation. 2010.

Contenu soumis à la licence CC-BY-SA. Source : Article Inégalité d'Azuma de Wikipédia en français (auteurs)

Игры ⚽ Нужна курсовая?

Regardez d'autres dictionnaires:

  • Inégalité de Hoeffding — L’inégalité de Hoeffding est une inégalité de concentration concernant les sommes de variables aléatoires indépendantes et bornées. Il existe une version plus générale de cette inégalité, concernant une somme d accroissements de martingales,… …   Wikipédia en Français

  • Inégalité de Markov — En théorie des probabilités, l inégalité de Markov donne une borne supérieure de la probabilité qu une variable aléatoire à valeurs positives soit supérieure ou égale à une constante positive. Cette inégalité a été nommée ainsi en l honneur d… …   Wikipédia en Français

  • Loi de Bernoulli — Pour les articles homonymes, voir Théorème de Bernoulli. Bernoulli Paramètres (nombre réel) Support …   Wikipédia en Français

  • Projet:Mathématiques/Liste des articles de mathématiques — Cette page n est plus mise à jour depuis l arrêt de DumZiBoT. Pour demander sa remise en service, faire une requête sur WP:RBOT Cette page recense les articles relatifs aux mathématiques, qui sont liés aux portails de mathématiques, géométrie ou… …   Wikipédia en Français

Share the article and excerpts

Direct link
… Do a right-click on the link above
and select “Copy Link”