Jackknife

En statistiques, le jackknife ((en) couteau suisse) est une méthode de rééchantillonnage qui tire son nom de couteau suisse du fait qu'elle peut être utile à diverses choses : réduction du biais en petit échantillon, construction d'un intervalle de confiance raisonnable pour toute sorte de statistiques, test statistique. À partir des années 70, cette méthode de rééchantillonnage a été "remplacée" par une méthode plus sophistiquée, le bootstrap.

Sommaire

1 Exposé général
2 Liens avec le bootstrap
3 Exemple
4 Références
- 4.1 Notes
- 4.2 Bibliographie
5 Voir aussi
- 5.1 Liens internes
- 5.2 Liens externes

Exposé général

Le cas de la moyenne empirique

On dispose d'un échantillon $X = x_1, x_2, \cdots, x_n$ , iid selon une loi inconnue F. On souhaite estimer l'espérance, notée $θ$ :

$\theta = \int x \, dF(x)$

Un estimateur naturel est la moyenne empirique :

$\hat\theta = \frac{1}{n} \sum_{i=1}^n x_i$ .

Un moyen de mesurer l'impact d'une observation $x j$ sur l'estimateur $\hat\theta$ est de calculer la moyenne empirique sur l'échantillon $X - j$ , à savoir l'échantillon initial X privé de sa j^e observation :

$\hat\theta_j = \frac{1}{n-1} \sum_{i \ne j} x_i$

On remarque que

$x_j = n \hat\theta - (n-1) \hat\theta_j$

et en passant à la moyenne que

$\hat\theta = n \hat\theta - (n-1) \hat\theta^\ast$

où $\hat\theta^\ast$ est la moyenne des estimations partielles $\hat\theta_j$ :

$\hat\theta^\ast = \frac{1}{n} \sum_j \hat\theta_j.$

Ainsi, on a $\hat\theta^\ast = \hat\theta$ ce qui signifie qu'on a à disposition un nouvel estimateur de l'espérance : il s'agit de son estimation jackknife.

Généralisation

Dans l'exposé précédent, la méthode du jackknife n'apporte rien dans le sens où il est confondu avec l'estimateur naturel. La généralisation montre qu'il en va tout autrement lorsqu'on considère un paramètre quelconque $\theta = \phi(x_1, \cdots, x_n)$ à estimer. Une estimation de $θ$ est $\hat\theta=\phi_n(x_1, \cdots, x_n) = \phi_n(X)$ .

Comme précédemment, on considère l'estimation de $θ$ sur l'échantillon privé de sa j^e observation $X - j$ :

$\hat\theta_j = \phi_{n-1} (X_{-j}),$

ce qui permet de poser

$\hat\theta_j^\ast = n \hat\theta - (n-1) \hat\theta_{j},$

comme étant la j^e pseudo-valeur.

Ces estimations partielles peuvent être vues comme des variables indépendantes et d'espérance $θ$ . On peut alors définir l'estimateur jackknife de $θ$ en prenant la moyenne empirique :

$\hat\theta^\ast = \frac{1}{n} \sum_j \hat\theta_j^\ast.$

On peut généraliser cette approche en considérant un échantillon amputé non plus d'une seule observations, mais de plusieurs. Le point cléf reste la définition des pseudo valeurs $\hat\theta_j^\ast$ et de leur moyenne $\hat\theta^\ast$ .

Réduction du biais

Principe général

Quenouille a montré en 1949 que l'estimateur jackknife permet de réduire le biais de l'estimation initiale $\hat\theta$ . Supposons pour cela que $E(\hat\theta) = \theta (1 + a n^{-1})$ . Bien sûr, d'autres termes en $n - 2, n - 3$ peuvent être considérés. Pour tout j, il en va de même pour l'estimateur partiel $\hat\theta_j$ , à la différence près que n est remplacé par $n - 1$ .

L'élément clef est la transposition de

$\hat\theta_j^\ast = n \hat\theta - (n-1) \hat\theta_{j}.$

$E(\hat\theta_j^\ast) = n E(\hat\theta) - (n-1) E(\hat\theta_{j}),$

puis en développant

$E(\hat\theta_j^\ast) = \theta\left[n\left(1+\frac{a}{n} \right) -(n-1)\left(1+\frac{a}{n-1} \right)\right] = \theta,$

ce qui a permis d'ôter le biais du premier ordre. On pourrait itérer pour ôter les biais d'ordre supérieur.

Exemple (estimation sans biais de la variance)

Considérons l'estimateur de la variance :

$\hat \sigma^2 = \frac{1}{n} \sum_j (x_j - \bar{x})^2$

Il est bien connu que cet estimateur est biaisé. En considérant les pseudo-valeurs, on a :

$\hat\theta^\ast_j = \frac{n}{n-1} (x_j - \bar{x}),$

puis on en déduit que :

$\hat\theta^\ast = \frac{1}{n-1} \sum_j (x_j - \bar{x})^2,$

ce qui est l'estimateur non-biaisé de la variance. Nous venons de résorber le biais.

Intervalle de confiance

Une autre utilisation de la méthode jackknife, due à Turkey en 1958, est de fournir un intervalle de confiance pour l'estimateur $\hat\theta^\ast$ ; la variance de ce dernier est :

$\widehat{\sigma^2}(\hat\theta^\ast) = \frac{1}{n} \widehat{\sigma^2}(\hat\theta^\ast_j) = \frac{1}{n(n-1)} \sum_j \left(\hat\theta^\ast_j - \hat\theta^\ast \right)^2$

On peut ainsi construire comme intervalle de confiance approximatif au seuil $1 - α$ :

$\hat\theta^\ast \pm t_{\alpha/2; n-1} \sqrt{\widehat{\sigma^2}(\hat\theta^\ast)}$

où $t α / 2; n - 1$ est le quantile approprié d'une loi de Student.

Test statistique

Le bootstrap peut aussi servir à tester une hypothèse $(H_0) : \; \theta=\theta_0$ ; il suffit pour cela de comparer la variable normalisée

$Z = \dfrac{\sqrt{n} \left(\hat\theta^\ast - \theta_0 \right)}{\sqrt{\widehat{\sigma^2}(\hat\theta^\ast)}}$

à une loi normale standard.

Liens avec le bootstrap

Exemple

Pour n=25 tirages indépendants dans la loi bêta de paramétres (3;7), on considère l'estimateur (biaisé) de la variance :

$\hat s^2 = \frac{1}{n} \sum_i (x_i - \bar{x})^2$

0,21876	0,11996	0,25072	0,30178	0,14852
0,16383	0,14686	0,29925	0,15777	0,45958
0,41439	0,45365	0,41157	0,29788	0,30316
0,25900	0,69559	0,14129	0,12868	0,14144
0,32000	0,30767	0,30478	0,28287	0,14855

Sur l'échantillon, cet estimateur vaut 0,017892 pour une vraie valeur de 0,01909091. L'estimateur par la méthode jackknife vaut quant à lui 0,01863750 : le biais, même en petit échantillon, a été réduit. On peut construire un intervalle de confiance à 95 % : la variance de l'estimateur est 5,240744e-05 ce qui donne un intervalle de [0,003696325;0,033578679] qui contient la vraie valeur.

Références

Notes

Bibliographie

(en) M. H. Quenouille, « Notes on bias in estimation », dans Biometrika, vol. 43, 1956, p. 353-360
(en) J. W. Tukey, « Bias and confidence in not quite large samples », dans Annals of Mathematical Statistics, vol. 29, 1958, p. 614

Voir aussi

Liens internes

Bootstrap (statistiques)

Liens externes

Portail des probabilités et des statistiques

Catégorie :

Statistiques

Wikimedia Foundation. 2010.

Contenu soumis à la licence CC-BY-SA. Source : Article Jackknife de Wikipédia en français (auteurs)

Игры ⚽ Нужно решить контрольную?

Regardez d'autres dictionnaires:

Jackknife — may refer to:* Jackknife, pocket knife * Jacknife , 1989 American film * Jackknife, jackknife hold, a pinning move in wrestling * Jackknife, kicking move involving 540 degree rotation * Jackknife, resampling technique in statistics * Jackknife,… … Wikipedia
jackknife — ☆ jackknife [jak′nīf΄ ] n. pl. jackknives [jak′nīvz΄] [ JACK + KNIFE] 1. a large pocketknife 2. a dive in which the diver keeps his knees unbent, touches his feet with his hands, and then straightens out just before plunging into the water vt.… … English World dictionary
Jackknife — ist die englische Bezeichnung für ein Klappmesser. Davon abgeleitet bezeichnet es: Jackknife (Statistik), in der Statistik eine Methode des Resampling eine Variation der Wrestling Technik Powerbomb eine Variation der Kampfsport Technik 540 Kick… … Deutsch Wikipedia
jackknife — ► NOUN (pl. jackknives) 1) a large knife with a folding blade. 2) a dive in which the body is bent at the waist and then straightened. ► VERB (jackknifed, jackknifing) 1) move (one s body) into a bent or doubled up position. 2) … English terms dictionary
Jackknife — Jack knife , n. A large, strong clasp knife for the pocket; a pocket knife. [1913 Webster] … The Collaborative International Dictionary of English
jackknife — /jak nuyf /, n., pl. jackknives, v., jackknifed, jackknifing, adj. n. 1. a large pocketknife. 2. Fancy Diving. a dive in which the diver bends in midair to touch the toes, keeping the legs straight, and then straightens out. v.i. 3. to bend or… … Universalium
jackknife — I UK [ˈdʒækˌnaɪf] / US noun [countable] Word forms jackknife : singular jackknife plural jackknives UK [ˈdʒækˌnaɪvz] / US 1) a small knife with a blade that folds into its handle 2) a dive in which you jump high, touch your toes, and then stretch … English dictionary
jackknife — jack•knife [[t]ˈdʒækˌnaɪf[/t]] n. pl. knives, 1) a large pocketknife 2) spo a dive in which the diver bends in midair to touch the toes, keeping the legs straight, and then straightens out 3) cvb to bend over from or at the middle; double over… … From formal English to slang
jackknife — I. noun Date: 1711 1. a large strong pocketknife 2. a dive executed headfirst in which the diver bends from the waist and touches the ankles while holding the knees unbent and then straightens out II. verb Date: 1806 transitive verb 1. to cut… … New Collegiate Dictionary
jackknife — /ˈdʒæknaɪf / (say jaknuyf) noun (plural jackknives) 1. a large knife with a blade that folds into the handle. 2. → jackknife dive. –verb (i) (jackknifed, jackknifing) 3. to bend or fold up, like a jackknife. 4. (of a horse) to buck bringing all… …

Dictionnaires et Encyclopédies sur 'Academic'

Jackknife

Sommaire

Exposé général

Le cas de la moyenne empirique

Généralisation

Réduction du biais

Intervalle de confiance

Test statistique

Liens avec le bootstrap

Exemple

Références

Notes

Bibliographie

Voir aussi

Liens internes

Liens externes

Regardez d'autres dictionnaires:

Share the article and excerpts

Dictionnaires et Encyclopédies sur 'Academic'

Wikipédia en Français

Jackknife

Sommaire

Exposé général

Le cas de la moyenne empirique

Généralisation

Réduction du biais

Intervalle de confiance

Test statistique

Liens avec le bootstrap

Exemple

Références

Notes

Bibliographie

Voir aussi

Liens internes

Liens externes

Regardez d'autres dictionnaires:

Share the article and excerpts

Direct link