Bootstrap (statistiques)

Pour les articles homonymes, voir Bootstrap.

En Statistiques, les techniques de bootstrap sont des méthodes d'Inférence statistique modernes, datant de la fin des années 70, et requérant des calculs informatiques intensifs. L'objectif est de connaître certaines indications sur une statistique : son estimation bien sûr, mais aussi la dispersion (variance, écart-type), des intervalles de confiance voire un Test d'hypothèse. Cette méthode est basée sur des simulations, comme les méthodes de Monte-Carlo, les méthodes numériques bayésiennes (échantillonneur de Gibbs (en), l'algorithme de Metropolis-Hastings (en)), à la différence près que le bootstrap ne nécessite pas d'information supplémentaire que celle disponible dans l'échantillon. En général, il est basé sur de « nouveaux échantillons » obtenus par tirage avec remise à partir de l'échantillon initial (on parle de rééchantillonnage).
L'aspect autocentré et itératif de la méthode a inspiré sa désignation anglaise : en effet, le bootstrap désigne le fait de « se hisser en tirant sur ses propres lacets ou plus précisément sur ses « bootstraps » qui désignent en anglais les anneaux de cuir ou tissu cousus au rebord des bottes pour y passer les doigts afin de les enfiler plus facilement ^{[note 1]} ».

Sommaire

1 Principe général
2 Bibliothèque logicielle
3 Exemple
4 Notes et références
5 Voir aussi
- 5.1 Liens internes
- 5.2 Liens externes

Principe général

Soit un échantillon $X_1, X_2, \cdots, X_n$ de n observations, indépendantes et identiquement distribuées (iid) selon une loi (inconnue) F. On souhaite estimer la quantité $θ = T (F)$ , comme l'espérance de la loi, sa médiane ou encore sa variance. Dans le premier cas, la fonctionnelle T est

$T(F)=\int x dF(x)$

et dans le dernier

$T(F)=\int (x-\mu)^2 dF(x)$

avec $μ$ l'espérance, dont l'expression a été donnée plus haut.

Une estimation classique de $θ$ est $\hat\theta = T(\hat F)$ , où $\hat F$ est une estimation de la fonction de répartition F. Il reste donc à obtenir cette estimation $\hat F$ . Deux cas se présentent :

cas paramétrique : on suppose que F fait partie d'une famille de lois paramétriques, c'est-à-dire indexées par un ensemble de paramètres, disons $ω$ . Après l'estimation des paramètres $ω$ , par maximum de vraisemblance par exemple, on dispose d'une estimation (paramétrique) de F. On parle de bootstrap paramétrique ;
cas non paramétrique : ici, on ne fait aucune hypothèse sur l'appartenance de la loi à une famille paramétrique. On estime $\hat F$ à l'aide de la fonction de répartition empirique. On parle de bootstrap non paramétrique.

L'étape suivante du bootstrap se base sur des simulations : étant donné l'estimation (paramétrique ou non) $\hat F$ , on obtient des tirages issus de cette loi qui permettent d'estimer $\hat\theta = T(\hat F)$ . On parle d´échantillon bootstrap pour désigner un de ces tirages. Attention, ici un tirage ne concerne pas une observation $x i$ , mais bien un échantillon en entier, composé de n observations indépendantes. La collection des $\hat\theta$ obtenue à partir des échantillons bootstrap s'appelle la distribution bootstrap.

Pour le cas paramétrique, la méthode de bootstrap s'apparente aux méthodes simulées comme les méthodes de Monte-Carlo. Dans le cas non-paramétrique, la méthode du bootstrap revient à utiliser un échantillon bootstrap composé d'un rééchantillonnage avec remise de l'échantillon initial. La méthode nécessite donc des échantillons simulés ; leur nombre, disons B, doit être assez grand pour assurer la convergence des estimations empiriques de $T(\hat F)$ . Il est d'usage de considérer un échantillon simulé de même taille que l'échantillon initial.

Pour plus de clarté, supposons que l'on veuille estimer l'espérance de la loi, et surtout sa précision (c´est-à-dire sa variance). Voici comment procéder. On fixe d'abord le nombre B d'échantillons. La procédure se déroule comme suit :

Boucle : pour b allant de 1 à B:
- on tire un échantillon bootstrap^{[note 2]} : $X^\ast_1, X^\ast_2, \cdots, X^\ast_n$ selon $\hat F$ ;
- on calcule la statistique (ici la moyenne empirique) à partir de l'échantillon bootstrap : $\hat\theta_b = (X^\ast_1 + \cdots + X^\ast_n)/n$ ;
La variance de l'estimateur de l'espérance est approchée par la variance empirique de la population bootstrap des $\hat\theta_b$ .

Dans cette dernière étape, on a à estimer

$v^2_b = \frac{1}{B} \sum_{b=1}^B \left[\hat\theta_b -\bar{\hat\theta}\right]^2$ ,

avec

$\bar{\hat\theta} = \frac{1}{B}\sum_{b=1}^B \hat\theta_b$

qui constitue une alternative à l'estimateur classique

$\hat\theta = \frac{1}{B} \sum_i X_i$ .

Pour le bootstrap non-paramétrique, l'étape de simulation est très simple : il s'agit d'un échantillon bootstrap obtenu tout simplement par rééchantillonnage avec remise de l'échantillon initial. Par exemple, pour un échantillon initial (1,2,5,4), un échantillon bootstrap sera par exemple (5,5,4,1) ou encore (4,1,4,2) et ainsi de suite.

Intervalle de confiance

Le bootstrap permet aussi de donner une idée de l'intervalle de confiance d'une estimation. Un intervalle de confiance bootstrap, au niveau $α$ , se détermine en identifiant les Quantiles de la distribution bootstrap, en laissant de part et d'autre de la distribution $\alpha/2 \times 100 \%$ . Ainsi, au seuil 5 %, l'intervalle de confiance est simplement délimité par les percentiles 2,5 % et 97,5 % de la distribution bootstrap.

Pour obtenir un intervalle de confiance bootstrap, un nombre de simulations B nécessite d'être suffisamment grand ; en particulier $B \ge 1000$ .

Cette technique n'est valable que lorsque la distribution bootstrap est symétrique et centrée sur l'échantillon original. On consultera avec profit les ouvrages cités en bibliographie pour déterminer les techniques — plus ou moins triviales — permettant d'appréhender ce cas.

Régression linéaire

Le bootstrap peut aussi s'appliquer à la détermination de l'intervalle de confiance pour le paramètre $β$ dans le cas de la régression linéaire classique. Ce cas est dénommé smooth boostrap en anglais.

Dans le modèle de régression linéaire

$y = X \beta + \epsilon,$

on suppose que la variable dépendante y et les aléas $\epsilon$ sont de dimension n × 1, les explicatives X de dimension n × p et qu'il y a p coefficients $β$ à déterminer.

Les hypothèses classiques de la régression linéaire permettent de conclure que l'estimateur de $β$ par les moindres carrés ordinaires, $\hat\beta = (X' X)^{-1} X'y$ , est distribué normalement :

$\hat\beta \sim N\left(\beta ; \sigma^2 (X'X)^{-1} \right)$

Ainsi, pour un j entre 1 et p, on peut construire un intervalle de confiance au seuil de $α$ % pour $\hat\beta_j$ :

$\hat\beta_j \pm t_{\alpha/2 ; n-p} \times \sqrt{\widehat{s^2} c_{j,j}}.$

Dans cette formule, $t α / 2; n - p$ est le quantile issu de la loi de Student, $\widehat{s^2}$ l'estimateur conventionnel de $σ 2$ et $c j, j$ l'élément $(j, j)$ de la matrice $C = (X' X) - 1$ .

Le bootstrap s'utilise pour fournir une alternative à cet intervalle de confiance. Les aléas $\epsilon$ ne sont pas observables, car leur loi est inconnue. Dans la démarche bootstrap, les aléas sont remplacés par les résidus :

$\hat{e} = (\hat{e}_1 , \cdots, \hat{e}_n) = y - \hat y = y - X\hat y.$

Le bootstrap se déroule comme suit :

Pour b allant de 1 à B :
- rééchantillonnage : on remplace les aléas par des résidus bootstrap $\hat e^\ast$ , obtenus par rééchantillonnage avec remise des résidus initiaux $\hat{e}$ . Ces résidus ont pour dimension n, et la dépendance à l'index b n'a pas été indiquée afin d'alléger les notations ;
- on construit des variables dépendantes bootstrap : $\hat y^\ast = X\hat\beta + \hat e^\ast$ , puis on estime par les moindres carrés ordinaires $\hat\beta^\ast_b = (X'X)^{-1} X'\hat y^\ast$ .
Exploitation de la population des $\hat\beta^\ast_b$ pour construire l'intervalle de confiance comme indiqué plus haut. On a besoin d'obtenir les quantiles d'ordre $α$ et $1 - α$ de la population des $\hat\beta^\ast_b$ .

Test bootstrap

Bibliothèque logicielle

librairie gratuite pour Matlab
Sous R, il existe principalement deux paquets^{[note 3]} :
- bootstrap basé sur Efron et Tibshirani (1994) ;
- boot présente plus de fonctionnalités (d’après Davison et Hinkley, 1997).

Exemple

On utilise 34 des 507 observations concernant les dimensions du corps humains^[1]. On extrait le poids (en kilo) et la taille (en mètre), afin de calculer l'Indice de masse corporelle, défini comme le ratio du poids et de la taille au carré. Les données sont reproduites ci-dessous.

Les 34 données disponibles
poids	taille	IMC
65,60	1,74	21,67
71,80	1,75	23,36
80,70	1,94	21,55
72,60	1,87	20,87
78,80	1,87	22,49
74,80	1,82	22,71
62,00	1,75	20,24
81,60	1,84	24,10
76,60	1,80	23,64
83,60	1,78	26,44
74,60	1,76	24,08
76,40	1,80	23,50
63,20	1,65	23,36
60,90	1,73	20,35
74,80	1,84	22,21
59,50	1,70	20,59
67,20	1,82	20,29
61,30	1,70	21,21
68,60	1,78	21,70
55,20	1,64	20,50
57,00	1,63	21,45
66,10	1,72	22,40
72,00	1,82	21,74
64,60	1,67	23,16
74,80	1,78	23,66
70,00	1,65	25,87
68,40	1,77	21,96
65,90	1,69	22,96
75,70	1,82	22,83
73,20	1,77	23,29
53,90	1,67	19,23
72,00	1,78	22,70
55,50	1,69	19,46
58,40	1,57	23,63

On s'intéresse à l'espérance $μ$ de l'IMC, et surtout à sa variance. L'estimateur naturel est la moyenne empirique:

$\hat\mu = \frac{1}{n} \sum_{i=1}^n x_i$

et l'estimateur de sa variance, noté $\hat\sigma(\hat\mu)$ , est connu explicitement : c'est l'estimateur de la variance de la population, divisé par n, c'est-à-dire :

$\hat\sigma(\hat\mu) = \frac{\hat\sigma^2_{P}}{n} = \frac{1}{n^2} \sum_{i=1}^n (x_i - \hat\mu)^2$

Les estimations empiriques sont $\hat\mu = 22,32941$ et $\hat\sigma^2(\hat\mu)=0,079882$ .

On peut comparer aux résultats obtenus grâce aux techniques bootstrap. On utilise $B = 1000$ échantillons bootstrap, de dimension $n = 34$ . On rappelle la procédure à suivre :

pour b allant de 1 à B
- on construit un échantillon bootstrap par rééchantillonnage avec remise ;
- on calcule la moyenne empirique à partir de l'échantillon bootstrap précédent, noté $μ b$ ;
on calcule la moyenne et la variance de la distribution bootstrap.

Ces calculs sont les suivants :

$\hat\mu_\ast = \frac{1}{B} \sum_{b=1}^B \mu_b$

$\hat\sigma^2(\hat\mu)_\ast = \frac{1}{B} \sum_{b=1}^B (\mu_b - \hat\mu_\ast )^2$

La distribution bootstrap (c'est-à-dire la distribution des moyennes empiriques obtenues à partir des 1000 échantillons bootstrap) est représentée dans la figure ci-contre. La moyenne empirique est $\hat\mu_\ast =22,33521$ et la variance empirique est de $\hat\sigma^2(\hat\mu)_\ast =0,079582$ , valeurs très proches des estimations non bootstrap. Qui plus est, la distribution bootstrap semble normale, comme en témoigne le qq-plot. On pourrait alors construire un intervalle de confiance bootstrap, malgré la taille très modeste pour la taille de l'échantillon.

Notes et références

Notes

↑ (en) to pull oneself up by one's own bootstrap. Cela fait référence aux aventures du baron de Münchhausen qui est censé s'être sorti d'un marécage où il était embourbé rien qu'en se tirant par les bottes et se propulsant ainsi dans les airs. Plus généralement, les bootstraps sont les anneaux, en cuir ou en tissu, cousus sur le rebord des bottes et dans lesquels on passe les doigts pour s'aider à les enfiler. Le nom alternatif (et peu usité en pratique) méthode de Cyrano fait référence au même épisode, mais repris par Edmond Rostand dans son Cyrano de Bergerac (acte III, scène 13, vers 1664 — 1669).
↑ On n'a pas pris la peine de faire figurer l'index b dans l'échantillon afin d'alléger les notations.
↑ Les ouvrages cités en référence sont cités dans la bibliographie.

Références

↑ (en) « Exploring Relationships in Body Dimensions », dans Journal of Statistics Education, vol. 11, n^o 2, 2003 [texte intégral (page consultée le 29 avril 2009)]

Bibliographie

(en) B. Efron, « Bootstrap Methods: Another Look at the Jackknife », dans The Annals of Statistics, vol. 7, n^o 1, janvier 1979, p. 1-26 (ISSN 00905364) [texte intégral, lien DOI (pages consultées le 27-04-2009)]
(en)A. C. Davison, D. V. Hinkley, Bootstrap Methods and Their Application, Cambridge University Press, 28 octobre 1997 (ISBN 0-521-57471-4)
(en)Efron Bradley, R.J. Tibshirani, An Introduction to the Bootstrap, Chapman & Hall/CRC, 15 mai 1994 (ISBN 0-412-04231-2)
(en)Efron Bradley, The Jackknife, the Bootstrap, and Other Resampling Plans, Society for Industrial & Applied Mathematics,U.S., 31 janvier 1982 (ISBN 0-89871-179-7)

Voir aussi

Liens internes

Liens externes

(fr) Introduction assez complète [PDF]
(en) Les méthodes du boostrap et du jacknife [PDF]
(fr) Une application du bootstrap dans la revue Accromath [PDF]

Portail des probabilités et des statistiques

Catégories :

Wikimedia Foundation. 2010.

Contenu soumis à la licence CC-BY-SA. Source : Article Bootstrap (statistiques) de Wikipédia en français (auteurs)

Игры ⚽ Поможем решить контрольную работу

Regardez d'autres dictionnaires:

Bootstrap — Cette page d’homonymie répertorie les différents sujets et articles partageant un même nom. Sur les autres projets Wikimedia : « Bootstrap », sur le Wiktionnaire (dictionnaire universel) En anglais, les bootstraps sont les anneaux … Wikipédia en Français
Basting Bootstrap — Le basting bootstrap est une technique particulière de bootstrapping utilisée en statistique. Elle est basée sur l inférence statistique pour estimer les propriétés d un estimateur, étant données les mesures de ces propriétés sur un échantillon… … Wikipédia en Français
Bootstrapping — Bootstrap Cette page d’homonymie répertorie les différents sujets et articles partageant un même nom … Wikipédia en Français
Jackknife — En statistiques, le jackknife ((en) couteau suisse) est une méthode de rééchantillonnage qui tire son nom de couteau suisse du fait qu elle peut être utile à diverses choses : réduction du biais en petit échantillon, construction d un… … Wikipédia en Français
Projet:Mathématiques/Liste des articles de mathématiques — Cette page n est plus mise à jour depuis l arrêt de DumZiBoT. Pour demander sa remise en service, faire une requête sur WP:RBOT Cette page recense les articles relatifs aux mathématiques, qui sont liés aux portails de mathématiques, géométrie ou… … Wikipédia en Français
Liste des articles de mathematiques — Projet:Mathématiques/Liste des articles de mathématiques Cette page recense les articles relatifs aux mathématiques, qui sont liés aux portails de mathématiques, géométrie ou probabilités et statistiques via l un des trois bandeaux suivants … Wikipédia en Français
Validation croisée — La validation croisée[1](« cross validation ») est une méthode d’estimation de fiabilité d’un modèle fondé sur une technique d’échantillonnage. En fait, il y a au moins trois techniques de validation croisée : « testset… … Wikipédia en Français
Glossaire du data mining — Exploration de données Articles principaux Exploration de données Fouille de données spatiales Fouille du web Fouille de flots de données Fouille de textes … Wikipédia en Français
Exploration de données — Articles principaux Exploration de données Fouille de données spatiales Fouille du web Fouille de flots de données Fouille de textes … Wikipédia en Français
ISUP — Institut de statistique de l université de Paris ISUP Devise L excellence statistique Informations Fondation 1922 Type Grande école publique Localisatio … Wikipédia en Français

Dictionnaires et Encyclopédies sur 'Academic'

Bootstrap (statistiques)

Sommaire